What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

AI juhtimine: riskiluure agentuursetele süsteemidele

Agentuurse tehisintellekti ajastu: ettevõtte tehisintellekti juhtimise ümberkujundamine

Tehisintellekti maastik areneb kiiresti, juhatades sisse 'agentuurse ajastu', kus tehisintellektisüsteemid tegutsevad enneolematu autonoomiaga. Prognoositava, binaarse DevOps'i ajad on möödas; agentuurne tehisintellekt on mitte-deterministlik, kohanedes ja arutledes iseseisvalt. See paradigma muutus esitab sügava väljakutse traditsioonilistele IT juhtimisraamistikele, mis loodi staatiliste, prognoositavate juurutuste jaoks. Organisatsioonid maadlevad ebajärjekindlate turvahoiakute, vastavuslünkade ja läbipaistmatute jälgitavuse näitajatega nende keeruliste mitme süsteemi interaktsioonide puhul. See dünaamiline keskkond nõuab uut lähenemist turvalisusele, operatsioonidele ja juhtimisele, mida vaadeldakse agentuurse süsteemi tervise omavahel sõltuvate dimensioonidena. Just sellest kriitilisest vajadusest tuleneb AI Risk Intelligence (AIRI). Arendatud AWS Generative AI Innovation Center'i poolt ja ehitatud tugeva AWS Responsible AI Best Practices Framework'i alusel, on AIRI ettevõttetasemel automatiseeritud juhtimislahendus, mis on loodud agentuurse ajastu selguse ja kontrolli tagamiseks.

Agentuurse tehisintellekti ettearvamatu olemus ja kaskaadsed riskid

Agentuurse tehisintellekti põhiomadus on selle mitte-deterministlik käitumine. Erinevalt traditsioonilisest tarkvarast võib agendile kaks korda sama küsimuse esitamine anda erinevaid vastuseid, kuna agendid valivad tööriistu ja lähenemisviise iseseisvalt, mitte ei järgi jäiku töövoogusid. See voolavus tähendab, et kvaliteet eksisteerib gradiendil, täiuslikust fabritseeritud, mitte lihtsa läbimise-läbikukkumise. Järelikult on prognoositavad sõltuvused ja protsessid andnud teed autonoomsetele süsteemidele, mis kohanevad, arutlevad ja tegutsevad iseseisvalt.

Traditsiooniline IT-juhtimine, mis on loodud staatiliste juurutuste jaoks, ei suuda neid keerulisi mitme süsteemi interaktsioone tõhusalt hallata. See loob märkimisväärseid pimedaid kohti. Näiteks Open Worldwide Application Security Project (OWASP) tuvastab "tööriistade väärkasutuse ja ärakasutamise" kui agentuursete rakenduste peamise riski. Kujutage ette stsenaariumi, kus ettevõtte tehisintellekti assistent, mis on legitiimselt konfigureeritud juurdepääsuks e-postile, kalendrile ja CRM-ile, on kompromiteeritud. Pahatahtlik osapool sisestab e-kirja sisse peidetud juhised. Kui kasutaja palub süütut kokkuvõtet, otsib kompromiteeritud agent, tegutsedes talle antud õiguste piires, tundlikke andmeid ja väljafiltreerib need kalendrikutsete kaudu, pakkudes samal ajal healoomulist vastust, mis rikkumist varjab. Standardsetel andmelekke vältimise tööriistadel ja võrgujälgimisel on siin puudujääke, kuna tegevused, kuigi pahatahtlikud, toimuvad volitatud parameetrite piires ega pruugi tingimata käivitada andmete liikumist või võrgu anomaaliaid viisidel, mida traditsioonilised süsteemid tuvastaksid. See rõhutab, kuidas turvanõrkused agentuursetes süsteemides võivad kaskaadina levida mitmesse operatsioonidimensiooni samaaegselt, muutes traditsioonilise, silohoidla-põhise juhtimise ebatõhusaks. Sellised stsenaariumid rõhutavad algusest peale strateegiate, nagu agentide kavandamine viipade süstimisele vastu pidama, olulisust.

Tutvustame AI Risk Intelligence'i (AIRI): paradigmamuutus juhtimises

Staatiliste kontrollide ja dünaamiliste agentuursete käitumiste vahelise lõhe ületamiseks töötas AWS välja AI Risk Intelligence'i (AIRI). AIRI defineerib ümber turvalisuse, operatsioonid ja juhtimise kui omavahel seotud "AI Risk Intelligence" raamistiku. See on ettevõttetasemel automatiseeritud juhtimislahendus, mis automatiseerib turvalisuse, operatsioonide ja juhtimiskontrollide hindamise, koondades need ühte, rakendatavasse vaatepunkti läbi kogu agentuurse elutsükli. AIRI disain kasutab ära AWS Responsible AI Best Practices Framework'i, mis juhendab kliente vastutustundliku tehisintellekti kaalutluste integreerimisel kogu tehisintellekti elutsüklisse, võimaldades teadlikke disainiotsuseid ja kiirendades usaldusväärsete tehisintellektisüsteemide juurutamist. See lahendus nihutab põhimõtteliselt juhtimise reaktiivsest, käsitsi protsessist proaktiivseks, automatiseeritud ja pidevaks.

Mis teeb AIRI eriti võimsaks, on selle raamistikuagnostiline olemus. See ei programmeeri spetsiifiliste ohtude jaoks reegleid, vaid kalibreerib laia valiku juhtimisstandardite järgi, sealhulgas NIST AI Risk Management Framework, ISO ja OWASP. See tähendab, et sama mootor, mis hindab OWASP-i turvakontrolle, saab hinnata ka organisatsiooni siseseid läbipaistvuspoliitikaid või tööstusharu spetsiifilisi vastavusnõudeid. See kohandatavus tagab, et AIRI jääb asjakohaseks erinevate agendi arhitektuuride, tööstusharude ja arenevate riskiprofiilide puhul, arutledes tõendite üle nagu pidev, skaleeritav audiitor. See muudab abstraktsed raamistiku nõuded konkreetseteks, rakendatavateks hinnanguteks, mis on integreeritud kogu agentuursesse elutsüklisse, alates disainist kuni tootmisjärgse faasini.

AIRI tegevuses: automatiseeritud juhtimise rakendamine

Vaatame uuesti meie tehisintellekti assistendi näidet, et illustreerida, kuidas AIRI automatiseeritud juhtimist rakendab. Kujutage ette, et arendusmeeskond on loonud selle tehisintellekti assistendi jaoks kontseptsiooni tõenduse (POC). Enne tootmisse juurutamist kasutavad nad AIRI-t. Põhjaliku hindamise loomiseks kaasatakse AIRI automatiseeritud tehnilise dokumentatsiooni ülevaatuse võimekus. See protsess kogub automaatselt tõendeid kontrollide rakendamise kohta, hinnates mitte ainult turvalisust, vaid ka kriitilisi operatiivseid kvaliteedikontrolle, nagu läbipaistvus, kontrollitavus, selgitatavus, ohutus ja robustsus. Analüüs hõlmab kasutusjuhtumi disaini, selle alusstruktuuri ja asjakohaseid organisatsioonilisi poliitikaid, et tagada vastavus ettevõtte juhtimis- ja vastavusnõuetega.

Siin on näide kontrollide tüüpidest, mida AIRI selles faasis hinnata võiks:

Kontrolli kategooria	Kirjeldus	AIRI hindamise fookus
Turvalisus	Andmete krüpteerimine, juurdepääsukontroll, haavatavuste haldus	Andmetöötluse, tööriista juurdepääsu ja potentsiaalsete ärakasutamise vektorite kontroll.
Operatsioonid	Jälgimine, logimine, intsidentidele reageerimine	Süsteemi jälgitavuse ja reageerimisvõime hindamine.
Läbipaistvus	Mudeli päritolu, andmeallikad, otsustusprotsess	Tehisintellekti sisemiste toimemehhanismide ja andmete päritolu selgus.
Kontrollitavus	Inimliku järelevalve mehhanismid, sekkumispunktid, hädaseiskamine	Inimese sekkumise ja tõrkekindlate protokollide tõhusus.
Selgitatavus	Agendi tegevuste põhjendus, tulemuste tõlgendatavus	Võimalus mõista, miks agent tegi konkreetse tegevuse.
Ohutus	Eelarvamuste tuvastamine, eetilised juhised, õigluse mõõdikud	Vastutustundliku tehisintellekti põhimõtete järgimine ja kahjulike väljundite leevendamine.
Robustsus	Vastupidavus vastandlikele rünnakutele, veatöötlus, usaldusväärsus	Süsteemi võime säilitada jõudlust stressitingimustes ja manipuleerimise vastu.
Vastavus	Regulatiivne järgimine, tööstusharu standardid, organisatsioonilised poliitikad	Vastavus juriidilistele nõuetele ja sisemistele juhtimisraamistikele.

Iga kontrollidimensiooni jaoks täidab AIRI arutluskäigu. Esiteks eraldab see asjakohasest juhtimisraamistikust konkreetsed hindamiskriteeriumid. Järgmisena võtab see tõendeid otse süsteemi artefaktidest – sealhulgas arhitektuuridokumentidest, agendi konfiguratsioonidest ja organisatsioonilistest poliitikatest. Lõpuks arutleb see raamistiku nõuete ja süsteemi demonstreeritud tõendite vastavuse üle, määrates kindlaks kontrolli rakendamise tõhususe. See arutluspõhine lähenemine võimaldab AIRI-l kohaneda uute agendi disainidega, arenevate raamistike ja esilekerkivate riskikategooriatega, ilma et oleks vaja selle põhilogikat ümber projekteerida.

Nende otsuste usaldusväärsuse suurendamiseks kasutab AIRI tehnikat nimega semantiline entroopia. See kordab iga hindamist mitu korda ja mõõdab oma järelduste järjepidevust. Kui väljundid erinevad käivituste lõikes oluliselt, annab see märku, et tõendid võivad olla ebaselged või ebapiisavad. Sellistel juhtudel käivitab AIRI arukalt inimliku ülevaatuse, vältides potentsiaalselt ebausaldusväärseid automatiseeritud otsustusi ja tagades tugeva juhtimisprotsessi. See uuenduslik lähenemine ületab tõhusalt lõhe abstraktsete raamistiku nõuete ja konkreetse agendi käitumise vahel, muutes juhtimisalased kavatsused struktureeritud, korratavaks ja skaleeritavaks hindamiseks keerukates agentuursetes süsteemides.

Järeldus: agentuurse tehisintellekti tuleviku turvamine

Agentuurse tehisintellekti esilekerkimine tähistab põhimõttelist muutust selles, kuidas organisatsioonid peavad lähenema tehisintellekti juurutamisele ja juhtimisele. Prognoositavate, staatiliste süsteemide ajastu on möödas, asendudes dünaamiliste, mitte-deterministlike agentidega, mis nõuavad riskijuhtimises uut keerukuse taset. Traditsioonilised juhtimismudelid on lihtsalt ebapiisavad, et pidada sammu nende tehisintellekti edusammude kiiruse ja keerukusega. AWS-i AI Risk Intelligence (AIRI) pakub kriitilise tähtsusega lahendust, pakkudes automatiseeritud, põhjalikku ja adaptiivset raamistikku agentuursete süsteemide turvalisuse ja juhtimise tagamiseks. Integreerides turvalisuse, operatsioonid ja juhtimise ühte, pidevasse vaatepunkti, annab AIRI organisatsioonidele võimaluse enesekindlalt oma tehisintellekti ambitsioone teostada, järgides samal ajal vastutustundliku tehisintellekti põhimõtteid ja tagades vastavuse. Kuna organisatsioonid jätkavad agentuurse tehisintellekti rakendamist, on sellised lahendused nagu AIRI hädavajalikud potentsiaalsete riskide muutmiseks innovatsiooni ja kasvu võimalusteks.