What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

AI pārvaldība: Riska inteliģence aģentiskām sistēmām

Aģentiskā AI ēra: Uzņēmuma AI pārvaldības pārveidošana

AI vide strauji attīstās, ievadot "aģentisko ēru", kurā AI sistēmas darbojas ar vēl nepieredzētu autonomiju. Pagājuši ir paredzamo, bināro DevOps laiki; aģentiskais AI ir nedeterminēts, pielāgojoties un spriežot neatkarīgi. Šī paradigmas maiņa rada dziļu izaicinājumu tradicionālajām IT pārvaldības sistēmām, kas tika izstrādātas statiskām, paredzamām izvietošanām. Organizācijas cīnās ar nekonsekventām drošības pozām, atbilstības nepilnībām un necaurredzamiem novērojamības rādītājiem šajās sarežģītajās vairāku sistēmu mijiedarbībās. Šī dinamiskā vide prasa jaunu pieeju drošībai, operācijām un pārvaldībai, kas tiek uzskatītas par aģentiskās sistēmas veselības savstarpēji atkarīgām dimensijām. Tieši no šīs kritiskās vajadzības rodas AI Riska inteliģence (AIRI). Izstrādāta AWS Ģeneratīvā AI Inovāciju centrā un balstīta uz spēcīgo AWS Atbildīgā AI labākās prakses ietvaru, AIRI ir uzņēmuma līmeņa automatizēts pārvaldības risinājums, kas izstrādāts, lai sniegtu skaidrību un kontroli aģentiskajā ērā.

Aģentiskā AI neparedzamā daba un kaskādes riski

Aģentiskā AI galvenā iezīme ir tā nedeterminētā uzvedība. Atšķirībā no tradicionālās programmatūras, uzdodot aģentam vienu un to pašu jautājumu divas reizes, var iegūt dažādas atbildes, jo aģenti neatkarīgi izvēlas rīkus un pieejas, nevis seko stingriem darba plūsmām. Šī plūstamība nozīmē, ka kvalitāte pastāv uz gradienta, no perfekta līdz izdomātam, nevis vienkāršs "izturēja-neizturēja". Līdz ar to paredzamās atkarības un procesi ir devuši vietu autonomām sistēmām, kas pielāgojas, spriež un darbojas neatkarīgi.

Tradicionālā IT pārvaldība, kas veidota statiskām izvietošanām, nevar efektīvi pārvaldīt šīs sarežģītās vairāku sistēmu mijiedarbības. Tas rada būtiskus neredzamos punktus. Piemēram, Open Worldwide Application Security Project (OWASP) identificē "Rīku ļaunprātīgu izmantošanu un ekspluatāciju" kā galveno risku aģentiskām lietojumprogrammām. Iedomājieties scenāriju, kurā uzņēmuma AI asistents, kas likumīgi konfigurēts ar piekļuvi e-pastam, kalendāram un CRM, tiek kompromitēts. Ļaunprātīgs aktors e-pastā ievieto slēptas instrukcijas. Kad lietotājs pieprasa nevainīgu kopsavilkumu, kompromitētais aģents, darbojoties piešķirto atļauju ietvaros, meklē sensitīvus datus un tos nopludina, izmantojot kalendāra ielūgumus, vienlaikus sniedzot labdabīgu atbildi, kas slēpj pārkāpumu. Standarta datu zuduma novēršanas rīki un tīkla uzraudzība šeit izgāžas, jo darbības, lai arī ļaunprātīgas, notiek autorizētu parametru ietvaros un ne vienmēr izraisa datu kustību vai tīkla anomālijas tādā veidā, kā to atklātu tradicionālās sistēmas. Tas izceļ, kā drošības ievainojamības aģentiskās sistēmās var kaskādes veidā izplatīties vairākās operatīvajās dimensijās vienlaicīgi, padarot tradicionālo, sadalīto pārvaldību neefektīvu. Šādi scenāriji uzsver stratēģiju, piemēram, aģentu projektēšanu, lai tie spētu pretoties promptu injekcijām no paša sākuma, nozīmīgumu.

Ieviešam AI Riska inteliģenci (AIRI): Paradigmas maiņa pārvaldībā

Lai novērstu plaisu starp statiskajām kontrolēm un dinamisko aģentisko uzvedību, AWS izstrādāja AI Riska inteliģenci (AIRI). AIRI no jauna definē drošību, operācijas un pārvaldību kā savstarpēji saistītu "AI Riska inteliģences" ietvaru. Tas ir uzņēmuma līmeņa automatizēts pārvaldības risinājums, kas automatizē drošības, operāciju un pārvaldības kontroles novērtēšanu, konsolidējot tās vienā, rīcībā noderīgā skatījumā visā aģentiskā cikla laikā. AIRI dizains izmanto AWS Atbildīgā AI labākās prakses ietvaru, kas palīdz klientiem integrēt atbildīga AI apsvērumus visā AI dzīves ciklā, ļaujot pieņemt informētus dizaina lēmumus un paātrināt uzticamu AI sistēmu ieviešanu. Šis risinājums fundamentāli maina pārvaldību no reaktīva, manuāla procesa uz proaktīvu, automatizētu un nepārtrauktu procesu.

AIRI padara īpaši spēcīgu tās ietvara-agnostiskais raksturs. Tā nenodefinē stingrus noteikumus konkrētiem draudiem, bet kalibrējas pret plašu pārvaldības standartu klāstu, ieskaitot NIST AI Riska pārvaldības ietvaru, ISO un OWASP. Tas nozīmē, ka tas pats dzinējs, kas novērtē OWASP drošības kontroles, var arī novērtēt organizācijas iekšējās pārredzamības politikas vai nozares specifiskās atbilstības prasības. Šī pielāgošanās spēja nodrošina, ka AIRI saglabājas aktuāla dažādās aģentu arhitektūrās, nozarēs un mainīgos riska profilos, spriežot par pierādījumiem kā nepārtraukts, mērogojams auditors. Tā pārveido abstraktas ietvara prasības konkrētos, rīcībā noderīgos novērtējumos, kas iestrādāti visā aģentiskā cikla laikā, no projektēšanas līdz pēcražošanai.

AIRI darbībā: Automatizēta pārvaldības operacionalizācija

Atgriezīsimies pie mūsu AI asistenta piemēra, lai ilustrētu, kā AIRI operacionalizē automatizēto pārvaldību. Iedomājieties, ka izstrādes komanda ir izveidojusi šī AI asistenta koncepcijas pierādījumu (POC). Pirms ieviešanas ražošanā viņi izmanto AIRI. Lai izveidotu pamatnovērtējumu, tiek iesaistīta AIRI automatizētā tehniskās dokumentācijas pārskatīšanas iespēja. Šis process automātiski vāc pierādījumus par kontroles ieviešanu, novērtējot ne tikai drošību, bet arī kritiskās operatīvās kvalitātes kontroles, piemēram, pārredzamību, vadāmību, skaidrojamību, drošumu un robustumu. Analīze aptver lietošanas gadījuma dizainu, tā pamatā esošo infrastruktūru un attiecīgās organizatoriskās politikas, lai nodrošinātu atbilstību uzņēmuma pārvaldības un atbilstības prasībām.

Šeit ir piemērs tam, kāda veida kontroles AIRI varētu novērtēt šajā fāzē:

Kontroles kategorija	Apraksts	AIRI novērtējuma fokuss
Drošība	Datu šifrēšana, piekļuves kontrole, ievainojamību pārvaldība	Datu apstrādes, rīku piekļuves un potenciālo izmantošanas vektoru pārbaude.
Operācijas	Uzraudzība, žurnālēšana, incidentu reaģēšana	Sistēmas novērojamības un reaģēšanas spēju novērtējums.
Pārredzamība	Modeļa izcelsme, datu avoti, lēmumu pieņemšanas process	AI iekšējās darbības un datu izcelsmes skaidrība.
Vadāmība	Cilvēka uzraudzības mehānismi, iejaukšanās punkti, avārijas apturēšana	Cilvēka iesaistes un avārijas protokolu efektivitāte.
Paskaidrojamība	Aģenta darbību pamatojums, rezultātu interpretējamība	Spēja saprast, kāpēc aģents veica noteiktu darbību.
Drošums	Noviržu noteikšana, ētikas vadlīnijas, godīguma metrika	Atbildīga AI principu ievērošana un kaitīgu rezultātu mazināšana.
Robustums	Noturība pret pretinieku uzbrukumiem, kļūdu apstrāde, uzticamība	Sistēmas spēja uzturēt veiktspēju stresa apstākļos un pret manipulācijām.
Atbilstība	Normatīvo aktu ievērošana, nozares standarti, organizācijas politikas	Saskaņošana ar juridiskām prasībām un iekšējiem pārvaldības ietvariem.

Katras kontroles dimensijas gadījumā AIRI izpilda spriešanas ciklu. Pirmkārt, tā no piemērojamā pārvaldības ietvara iegūst specifiskus novērtēšanas kritērijus. Pēc tam tā iegūst pierādījumus tieši no sistēmas artefaktiem, tostarp arhitektūras dokumentiem, aģenta konfigurācijām un organizācijas politikām. Visbeidzot, tā spriež par saskaņotību starp ietvara prasībām un sistēmas demonstrētajiem pierādījumiem, nosakot kontroles ieviešanas efektivitāti. Šī uz spriešanu balstītā pieeja ļauj AIRI pielāgoties jaunām aģentu konstrukcijām, attīstošiem ietvariem un jauniem riska kategorijām, neprasot tās pamatloģikas atkārtotu inženieriju.

Lai uzlabotu šo spriedumu uzticamību, AIRI izmanto tehniku, ko sauc par semantisko entropiju. Tā atkārto katru novērtējumu vairākas reizes un mēra tās secinājumu konsekvenci. Ja rezultāti ievērojami atšķiras starp palaidieniem, tas norāda, ka pamatā esošie pierādījumi varētu būt neskaidri vai nepietiekami. Šādos gadījumos AIRI inteliģenti aktivizē cilvēka pārskatu, novēršot potenciāli neuzticamus automatizētus spriedumus un nodrošinot robustu pārvaldības procesu. Šī inovatīvā pieeja efektīvi novērš plaisu starp abstraktām ietvara prasībām un konkrētu aģenta uzvedību, pārveidojot pārvaldības nodomu strukturētā, atkārtojamā un mērogojamā novērtējumā sarežģītās aģentiskās sistēmās.

Secinājums: Aģentiskā AI nākotnes nodrošināšana

Aģentiskā AI uzplaukums iezīmē fundamentālu pārmaiņu veidā, kā organizācijām jāpieiet AI ieviešanai un pārvaldībai. Paredzamo, statisko sistēmu ēra ir beigusies, to aizstāj dinamiskas, nedeterminētas aģentu sistēmas, kas prasa jaunu riska pārvaldības sarežģītības līmeni. Tradicionālie pārvaldības modeļi vienkārši nav pietiekami, lai neatpaliktu no šo AI sasniegumu ātruma un sarežģītības. AWS AI Riska inteliģence (AIRI) piedāvā kritisku risinājumu, nodrošinot automatizētu, visaptverošu un adaptīvu ietvaru aģentisko sistēmu drošībai un pārvaldībai. Integrējot drošību, operācijas un pārvaldību vienā, nepārtrauktā skatījumā, AIRI dod organizācijām iespēju pārliecinoši īstenot savas AI ambīcijas, vienlaikus ievērojot atbildīga AI principus un nodrošinot atbilstību. Tā kā organizācijas turpina operacionalizēt aģentisko AI, tādi risinājumi kā AIRI būs neaizstājami, lai pārvērstu potenciālos riskus par inovācijas un izaugsmes iespējām.