What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

Správa AI: Inteligentná analýza rizík pre agentické systémy

Éra agentickej AI: Pretváranie správy podnikovej AI

Krajina AI sa rýchlo vyvíja a otvára "agentickú éru", kde systémy AI fungujú s nebývalou autonómiou. Preč sú časy predvídateľného, binárneho DevOps; agentická AI je nedeterministická, prispôsobuje sa a uvažuje nezávisle. Tento posun paradigmy predstavuje hlbokú výzvu pre tradičné rámce správy IT, ktoré boli navrhnuté pre statické, predvídateľné nasadenia. Organizácie sa potýkajú s nekonzistentnými bezpečnostnými postojmi, medzerami v súlade a nepriehľadnými metrikami pozorovateľnosti pre tieto komplexné interakcie viacerých systémov. Toto dynamické prostredie si vyžaduje nový prístup k bezpečnosti, operáciám a správe, vnímané ako vzájomne závislé dimenzie zdravia agentického systému. Práve z tejto kritickej potreby vzniká AI Risk Intelligence (AIRI). Vyvinuté AWS Generative AI Innovation Center a postavené na robustnom rámci osvedčených postupov AWS pre zodpovednú AI, AIRI je podnikové automatizované riešenie správy navrhnuté tak, aby prinieslo jasnosť a kontrolu do agentickej éry.

Nepredvídateľná povaha agentickej AI a kaskádové riziká

Základnou charakteristikou agentickej AI je jej nedeterministické správanie. Na rozdiel od tradičného softvéru môže položenie rovnakej otázky agentovi dvakrát priniesť rôzne odpovede, pretože agenti si nezávisle vyberajú nástroje a prístupy, namiesto toho, aby sa riadili pevnými pracovnými postupmi. Táto plynulosť znamená, že kvalita existuje na gradiente, od dokonalej po sfalšovanú, namiesto jednoduchého prechodu alebo zlyhania. V dôsledku toho predvídateľné závislosti a procesy ustúpili autonómnym systémom, ktoré sa prispôsobujú, uvažujú a konajú nezávisle.

Tradičná správa IT, postavená na statických nasadeniach, nedokáže efektívne riadiť tieto komplexné interakcie viacerých systémov. To vytvára značné slepé miesta. Napríklad Open Worldwide Application Security Project (OWASP) identifikuje "Zneužitie a exploatáciu nástrojov" ako hlavné riziko pre agentické aplikácie. Predstavte si scenár, kde je kompromitovaný podnikový AI asistent, legitímne nakonfigurovaný s prístupom k e-mailu, kalendáru a CRM. Škodlivý aktér vloží skryté inštrukcie do e-mailu. Keď si používateľ vyžiada nevinné zhrnutie, kompromitovaný agent, ktorý funguje v rámci udelených povolení, vyhľadá citlivé dáta a exfiltruje ich prostredníctvom pozvánok do kalendára, pričom poskytuje neškodnú odpoveď, ktorá zakrýva narušenie. Štandardné nástroje na prevenciu straty dát a monitorovanie siete tu zlyhávajú, pretože akcie, aj keď sú škodlivé, sa vyskytujú v rámci autorizovaných parametrov a nemusia nevyhnutne spustiť pohyb dát alebo sieťové anomálie spôsobom, akým by ich detekovali tradičné systémy. To zdôrazňuje, ako sa bezpečnostné zraniteľnosti v agentických systémoch môžu kaskádovito prenášať naprieč viacerými operačnými dimenziami súčasne, čím sa tradičné, izolované riadenie stáva neefektívnym. Takéto scenáre podčiarkujú dôležitosť stratégií, ako je navrhovanie agentov, aby odolávali vkladaniu promptov od samého začiatku.

Predstavujeme AI Risk Intelligence (AIRI): Zmena paradigmy v správe

Na prekonanie medzery medzi statickými kontrolami a dynamickým správaním agentov vyvinula AWS AI Risk Intelligence (AIRI). AIRI redefinuje bezpečnosť, operácie a správu ako vzájomne prepojený rámec "AI Risk Intelligence". Je to podnikové automatizované riešenie správy, ktoré automatizuje hodnotenie bezpečnostných, operačných a správnych kontrol, pričom ich konsoliduje do jedného, vykonateľného pohľadu naprieč celým agentickým životným cyklom. Dizajn AIRI využíva rámec osvedčených postupov AWS pre zodpovednú AI, ktorý usmerňuje zákazníkov pri integrácii úvah o zodpovednej AI počas celého životného cyklu AI, čo umožňuje informované rozhodnutia o dizajne a urýchľuje nasadenie dôveryhodných systémov AI. Toto riešenie zásadne mení správu z reaktívneho, manuálneho procesu na proaktívny, automatizovaný a nepretržitý.

Čo robí AIRI obzvlášť silným, je jeho agnostická povaha voči rámcom. Nekóduje pravidlá pre špecifické hrozby, ale kalibruje sa podľa širokej škály štandardov správy, vrátane NIST AI Risk Management Framework, ISO a OWASP. To znamená, že rovnaký motor, ktorý hodnotí bezpečnostné kontroly OWASP, môže tiež posúdiť interné politiky transparentnosti organizácie alebo požiadavky na súlad špecifické pre dané odvetvie. Táto prispôsobivosť zabezpečuje, že AIRI zostáva relevantné naprieč rôznymi architektúrami agentov, odvetviami a vyvíjajúcimi sa rizikovými profilmi, pričom uvažuje nad dôkazmi ako nepretržitý, škálovateľný audítor. Transformuje abstraktné požiadavky rámca na konkrétne, vykonateľné hodnotenia vložené do celého agentického životného cyklu, od návrhu až po postprodukciu.

AIRI v akcii: Operacionalizácia automatizovanej správy

Vráťme sa k nášmu príkladu AI asistenta, aby sme ilustrovali, ako AIRI operacionalizuje automatizovanú správu. Predstavte si, že vývojový tím vytvoril Proof of Concept (POC) pre tohto AI asistenta. Pred nasadením do produkcie využijú AIRI. Na vytvorenie základného posúdenia sa zapojí automatizovaná funkcia AIRI na preskúmanie technickej dokumentácie. Tento proces automaticky zhromažďuje dôkazy o implementácii kontrol, pričom hodnotí nielen bezpečnosť, ale aj kritické operačné kontroly kvality, ako sú transparentnosť, ovládateľnosť, vysvetliteľnosť, bezpečnosť a robustnosť. Analýza zahŕňa návrh prípadu použitia, jeho základnú infraštruktúru a príslušné organizačné politiky, aby sa zabezpečil súlad s podnikovou správou a požiadavkami na súlad.

Tu je príklad typov kontrol, ktoré by AIRI mohla posúdiť počas tejto fázy:

Kategória kontroly	Popis	Zameranie hodnotenia AIRI
Bezpečnosť	Šifrovanie dát, riadenie prístupu, správa zraniteľností	Overenie spracovania dát, prístupu k nástrojom a potenciálnych vektorov zneužitia.
Prevádzka	Monitorovanie, protokolovanie, reakcia na incidenty	Hodnotenie pozorovateľnosti systému a schopností reakcie.
Transparentnosť	Pôvod modelu, zdroje dát, proces rozhodovania	Jasnosť vnútorného fungovania AI a pôvodu dát.
Ovládateľnosť	Mechanizmy ľudského dohľadu, body intervencie, núdzové zastavenie	Efektívnosť protokolov s ľudským zásahom a bezpečnostných protokolov.
Vysvetliteľnosť	Zdôvodnenie akcií agenta, interpretovateľnosť výsledkov	Schopnosť pochopiť prečo agent vykonal konkrétnu akciu.
Bezpečnosť	Detekcia predsudkov, etické smernice, metriky spravodlivosti	Dodržiavanie princípov zodpovednej AI a zmierňovanie škodlivých výstupov.
Robustnosť	Odolnosť voči útokom protivníkov, spracovanie chýb, spoľahlivosť	Schopnosť systému udržiavať výkon pod záťažou a proti manipulácii.
Súlad	Dodržiavanie predpisov, priemyselných noriem, organizačných politík	Súlad s právnymi predpismi a internými rámcami správy.

Pre každú dimenziu kontroly vykonáva AIRI cyklus uvažovania. Najprv extrahuje špecifické kritériá hodnotenia z príslušného rámca správy. Ďalej získava dôkazy priamo z artefaktov systému – vrátane architektonických dokumentov, konfigurácií agentov a organizačných politík. Nakoniec uvažuje o súlade medzi požiadavkami rámca a preukázanými dôkazmi systému, čím určuje účinnosť implementácie kontroly. Tento prístup založený na uvažovaní umožňuje AIRI prispôsobiť sa novým návrhom agentov, vyvíjajúcim sa rámcom a vznikajúcim kategóriám rizík bez potreby prepracovania jeho základnej logiky.

Na zvýšenie spoľahlivosti týchto rozhodnutí používa AIRI techniku nazývanú sémantická entropia. Opakuje každé hodnotenie viackrát a meria konzistentnosť svojich záverov. Ak sa výstupy výrazne líšia naprieč spusteniami, signalizuje to, že dôkazy môžu byť nejednoznačné alebo nedostatočné. V takýchto prípadoch AIRI inteligentne spúšťa ľudské preskúmanie, čím predchádza potenciálne nespoľahlivým automatizovaným rozhodnutiam a zabezpečuje robustný proces správy. Tento inovatívny prístup účinne prekonáva medzeru medzi abstraktnými požiadavkami rámca a konkrétnym správaním agenta, transformujúc zámer správy na štruktúrované, opakovateľné a škálovateľné hodnotenie naprieč komplexnými agentickými systémami.

Záver: Zabezpečenie budúcnosti agentickej AI

Vzostup agentickej AI znamená zásadný posun v tom, ako musia organizácie pristupovať k nasadeniu a správe AI. Éra predvídateľných, statických systémov sa skončila, nahradená dynamickými, nedeterministickými agentmi, ktoré si vyžadujú novú úroveň sofistikovanosti v riadení rizík. Tradičné modely správy jednoducho nestačia na to, aby držali krok s rýchlosťou a zložitosťou týchto pokrokov v oblasti AI. AI Risk Intelligence (AIRI) od AWS poskytuje kritické riešenie, ponúkajúce automatizovaný, komplexný a adaptívny rámec pre zabezpečenie a správu agentických systémov. Integráciou bezpečnosti, operácií a správy do jedného, nepretržitého pohľadu, AIRI umožňuje organizáciám sebavedomo sledovať svoje ambície v oblasti AI pri dodržiavaní princípov zodpovednej AI a zabezpečení súladu. Keďže organizácie pokračujú v operacionalizácii agentickej AI, riešenia ako AIRI budú nevyhnutné na transformáciu potenciálnych rizík na príležitosti pre inovácie a rast.