What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

Upravljanje AI: Obveščevalni podatki o tveganjih za agentske sisteme

Doba agentske AI: Preoblikovanje upravljanja AI v podjetjih

Pokrajina umetne inteligence se hitro razvija, uvaja se 'agentska doba', kjer sistemi AI delujejo z izjemno avtonomijo. Minili so dnevi predvidljivega, binarnega DevOpsa; agentska AI je nedeterminirana, saj se samostojno prilagaja in sklepa. Ta sprememba paradigme predstavlja velik izziv za tradicionalne okvire upravljanja IT, ki so bili zasnovani za statične, predvidljive uvedbe. Organizacije se spopadajo z nedoslednimi varnostnimi položaji, vrzelmi v skladnosti in nejasnimi metrikami opazljivosti za te kompleksne interakcije med več sistemi. To dinamično okolje zahteva nov pristop k varnosti, delovanju in upravljanju, ki se obravnavajo kot medsebojno odvisne dimenzije zdravja agentskega sistema. Iz te kritične potrebe izhaja AI Risk Intelligence (AIRI). AIRI, ki jo je razvil AWS Generative AI Innovation Center in temelji na robustnem okviru AWS Responsible AI Best Practices Framework, je avtomatizirana rešitev za upravljanje na ravni podjetja, zasnovana za vnašanje jasnosti in nadzora v agentsko dobo.

Nepredvidljiva narava agentske AI in kaskadna tveganja

Ključna značilnost agentske AI je njeno nedeterminirano vedenje. Za razliko od tradicionalne programske opreme lahko vprašanje, zastavljeno agentu dvakrat, prinese različne odgovore, saj agenti samostojno izbirajo orodja in pristope, namesto da bi sledili strogim delovnim tokovom. Ta fluidnost pomeni, da kakovost obstaja na lestvici, od popolne do izmišljene, namesto preprostega 'uspešno/neuspešno'. Posledično so predvidljive odvisnosti in procesi prepustili mesto avtonomnim sistemom, ki se samostojno prilagajajo, sklepajo in delujejo.

Tradicionalno upravljanje IT, zgrajeno za statične uvedbe, ne more učinkovito upravljati teh kompleksnih interakcij med več sistemi. To ustvarja pomembne slepe točke. Na primer, Open Worldwide Application Security Project (OWASP) opredeljuje 'zlorabo in izkoriščanje orodij' ('Tool Misuse and Exploitation') kot glavno tveganje za agentske aplikacije. Razmislite o scenariju, ko je pomočnik AI v podjetju, legitimno konfiguriran z dostopom do e-pošte, koledarja in CRM-ja, ogrožen. Zlonamerni akter vgradi skrita navodila v e-pošto. Ko uporabnik zahteva nedolžen povzetek, ogroženi agent, ki deluje znotraj podeljenih dovoljenj, išče občutljive podatke in jih eksfiltrira prek vabil v koledar, hkrati pa ponuja neškodljiv odgovor, ki prikriva kršitev. Standardna orodja za preprečevanje izgube podatkov in nadzor omrežja tu odpovejo, ker se dejanja, čeprav zlonamerna, zgodijo znotraj pooblaščenih parametrov in ne sprožijo nujno premikanja podatkov ali anomalij v omrežju na način, ki bi ga zaznali tradicionalni sistemi. To poudarja, kako se lahko varnostne ranljivosti v agentskih sistemih kaskadno razširijo na več operativnih dimenzij hkrati, zaradi česar je tradicionalno, silo upravljanje neučinkovito. Takšni scenariji poudarjajo pomen strategij, kot je načrtovanje agentov, ki so odporni na injekcije pozivov, že od samega začetka.

Predstavljamo AI Risk Intelligence (AIRI): Sprememba paradigme v upravljanju

Za premostitev vrzeli med statičnimi kontrolami in dinamičnim vedenjem agentov je AWS razvil AI Risk Intelligence (AIRI). AIRI redefinira varnost, delovanje in upravljanje kot medsebojno povezan okvir 'AI Risk Intelligence'. To je avtomatizirana rešitev za upravljanje na ravni podjetja, ki avtomatizira ocenjevanje varnostnih, operativnih in upravljavskih kontrol, pri čemer jih združuje v eno samo, delujočo perspektivo skozi celoten življenjski cikel agentov. Zasnova AIRI izkorišča AWS Responsible AI Best Practices Framework, ki stranke vodi pri integraciji vidikov odgovorne AI v celoten življenjski cikel AI, kar omogoča informirane odločitve pri načrtovanju in pospešuje uvedbo zaupanja vrednih sistemov AI. Ta rešitev bistveno spreminja upravljanje iz reaktivnega, ročnega procesa v proaktivnega, avtomatiziranega in neprekinjenega.

Kar dela AIRI še posebej močno, je njena neodvisnost od okvirov. Ne kodira trdih pravil za specifične grožnje, temveč se kalibrira glede na širok nabor standardov upravljanja, vključno z NIST AI Risk Management Framework, ISO in OWASP. To pomeni, da lahko isti motor, ki ocenjuje varnostne kontrole OWASP, ocenjuje tudi notranje politike transparentnosti organizacije ali industrijsko specifične zahteve skladnosti. Ta prilagodljivost zagotavlja, da AIRI ostaja relevantna v različnih arhitekturah agentov, panogah in razvijajočih se profilih tveganj, pri čemer sklepa na podlagi dokazov kot neprekinjen, razširljiv revizor. Abstraktne zahteve okvirov pretvarja v konkretne, delujoče ocene, vgrajene v celoten življenjski cikel agentov, od zasnove do postprodukcije.

AIRI v akciji: Operacionalizacija avtomatiziranega upravljanja

Poglejmo si ponovno naš primer pomočnika AI, da ponazorimo, kako AIRI operacionalizira avtomatizirano upravljanje. Predstavljajte si, da je razvojna ekipa ustvarila dokaz koncepta (POC) za tega pomočnika AI. Pred uvedbo v proizvodnjo uporabijo AIRI. Za vzpostavitev temeljne ocene se vključi zmožnost AIRI za avtomatiziran pregled tehnične dokumentacije. Ta proces samodejno zbira dokaze o implementaciji kontrol, pri čemer ocenjuje ne le varnost, temveč tudi kritične operativne kontrole kakovosti, kot so preglednost, nadzorljivost, razložljivost, varnost in robustnost. Analiza zajema zasnovo primera uporabe, njegovo osnovno infrastrukturo in relevantne organizacijske politike, da se zagotovi usklajenost z zahtevami podjetniškega upravljanja in skladnosti.

Tukaj je primer vrst kontrol, ki jih AIRI lahko oceni v tej fazi:

Kategorija nadzora	Opis	AIRI Poudarek ocene
Varnost	Šifriranje podatkov, nadzor dostopa, upravljanje ranljivosti	Preverjanje obravnave podatkov, dostopa do orodij in potencialnih vektorjev izkoriščanja.
Delovanje	Spremljanje, beleženje, odzivanje na incidente	Ocena opazljivosti sistema in zmogljivosti odzivanja.
Preglednost	Poreklo modela, viri podatkov, proces odločanja	Jasnost notranjega delovanja AI in porekla podatkov.
Nadzorljivost	Mehanizmi človeškega nadzora, točke posredovanja, zasilna zaustavitev	Učinkovitost protokolov 'človek v zanki' in varnostnih protokolov.
Razložljivost	Utemeljitev dejanj agenta, razložljivost rezultatov	Zmožnost razumevanja, zakaj je agent izvedel določeno dejanje.
Varnost	Zaznavanje pristranskosti, etične smernice, metrike pravičnosti	Spoštovanje načel odgovorne AI in blaženje škodljivih rezultatov.
Robustnost	Odpornost na sovražne napade, obravnava napak, zanesljivost	Sposobnost sistema, da ohranja delovanje pod obremenitvijo in proti manipulaciji.
Skladnost	Skladnost z regulativami, industrijski standardi, organizacijske politike	Uskladitev s pravnimi določili in notranjimi okviri upravljanja.

Za vsako dimenzijo nadzora AIRI izvede logično zanko. Najprej izvleče specifična merila ocenjevanja iz veljavnega okvira upravljanja. Nato pridobi dokaze neposredno iz sistemskih artefaktov – vključno z arhitekturnimi dokumenti, konfiguracijami agentov in organizacijskimi politikami. Končno sklepa o usklajenosti med zahtevami okvira in prikazanimi dokazi sistema ter določi učinkovitost implementacije nadzora. Ta pristop, ki temelji na sklepanju, omogoča AIRI, da se prilagodi novim zasnovam agentov, razvijajočim se okvirom in nastajajočim kategorijam tveganj, ne da bi bilo potrebno ponovno inženirstvo njene temeljne logike.

Za izboljšanje zanesljivosti teh sodb AIRI uporablja tehniko, imenovano semantična entropija. Vsako oceno ponovi večkrat in meri doslednost svojih sklepov. Če se izhodišča bistveno razlikujejo med izvedbami, to signalizira, da so dokazi morda dvoumni ali nezadostni. V takšnih primerih AIRI inteligentno sproži človeški pregled, s čimer preprečuje potencialno nezanesljive avtomatizirane sodbe in zagotavlja robusten proces upravljanja. Ta inovativni pristop učinkovito premosti vrzel med abstraktnimi zahtevami okvirov in konkretnim vedenjem agentov, preoblikuje namen upravljanja v strukturirano, ponovljivo in razširljivo oceno kompleksnih agentskih sistemov.

Zaključek: Zagotavljanje prihodnosti agentske AI

Vzpon agentske AI pomeni temeljno spremembo v pristopu organizacij k uvajanju in upravljanju AI. Doba predvidljivih, statičnih sistemov je mimo, nadomestili so jo dinamični, nedeterminirani agenti, ki zahtevajo novo raven sofisticiranosti pri upravljanju tveganj. Tradicionalni modeli upravljanja preprosto niso dovolj, da bi sledili hitrosti in kompleksnosti teh napredkov AI. AI Risk Intelligence (AIRI) podjetja AWS ponuja ključno rešitev, ki zagotavlja avtomatiziran, celovit in prilagodljiv okvir za varovanje in upravljanje agentskih sistemov. Z integracijo varnosti, delovanja in upravljanja v enotno, neprekinjeno perspektivo AIRI omogoča organizacijam, da samozavestno sledijo svojim ambicijam na področju AI, hkrati pa ohranjajo načela odgovorne AI in zagotavljajo skladnost. Ker organizacije še naprej operacionalizirajo agentsko AI, bodo rešitve, kot je AIRI, nepogrešljive pri preoblikovanju potencialnih tveganj v priložnosti za inovacije in rast.