What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

Řízení AI: Riziková inteligence pro agentní systémy

Éra agentní AI: Přetváření řízení podnikové AI

Prostředí AI se rychle vyvíjí a zavádí "agentní éru", kde systémy AI fungují s bezprecedentní autonomií. Pryč jsou dny předvídatelného, binárního DevOps; agentní AI je nedeterministická, adaptuje se a uvažuje nezávisle. Tento posun paradigmatu představuje hlubokou výzvu pro tradiční rámce řízení IT, které byly navrženy pro statické, předvídatelné nasazení. Organizace se potýkají s nekonzistentními bezpečnostními postoji, mezerami v souladu s předpisy a neprůhlednými metrikami pozorovatelnosti pro tyto složité interakce více systémů. Toto dynamické prostředí si vyžaduje nový přístup k bezpečnosti, provozu a řízení, které jsou považovány za vzájemně závislé dimenze zdraví agentního systému. Právě z této kritické potřeby vyplývá vznik AI Risk Intelligence (AIRI). AIRI, vyvinutá centrem AWS Generative AI Innovation Center a postavená na robustním rámci AWS Responsible AI Best Practices Framework, je automatizované řešení řízení na podnikové úrovni, navržené tak, aby vneslo jasnost a kontrolu do agentní éry.

Nepředvídatelná povaha agentní AI a kaskádové rizika

Základní charakteristikou agentní AI je její nedeterministické chování. Na rozdíl od tradičního softwaru může položení stejné otázky agentovi dvakrát vést k různým odpovědím, protože agenti nezávisle vybírají nástroje a přístupy, namísto aby se řídili pevnými pracovními postupy. Tato plynulost znamená, že kvalita existuje na škále, od dokonalé po vymyšlenou, spíše než jednoduché projití/selhání. V důsledku toho předvídatelné závislosti a procesy ustoupily autonomním systémům, které se adaptují, uvažují a jednají nezávisle.

Tradiční řízení IT, postavené na statických nasazeních, nemůže efektivně spravovat tyto složité interakce více systémů. To vytváří značné slepé body. Například Open Worldwide Application Security Project (OWASP) identifikuje 'Zneužití a zneužívání nástrojů' jako hlavní riziko pro agentní aplikace. Zvažte scénář, kdy je kompromitován podnikový asistent AI, legitimně nakonfigurovaný s přístupem k e-mailu, kalendáři a CRM. Zlovolný aktér vloží skryté instrukce do e-mailu. Když uživatel požádá o nevinný souhrn, kompromitovaný agent, fungující v rámci svých udělených oprávnění, vyhledá citlivá data a exfiltruje je prostřednictvím pozvánek do kalendáře, to vše při poskytování benigní odpovědi, která maskuje narušení. Standardní nástroje pro prevenci ztráty dat a monitorování sítě zde selhávají, protože akce, i když jsou škodlivé, probíhají v rámci autorizovaných parametrů a nemusí nutně spouštět pohyb dat nebo síťové anomálie způsobem, který by tradiční systémy detekovaly. To zdůrazňuje, jak se bezpečnostní zranitelnosti v agentních systémech mohou kaskádovitě šířit napříč několika provozními dimenzemi současně, což činí tradiční, izolované řízení neefektivním. Takové scénáře podtrhují důležitost strategií, jako je navrhování agentů tak, aby odolávali vkládání výzev od samého počátku.

Představujeme AI Risk Intelligence (AIRI): Změna paradigmatu v řízení

Pro překlenutí mezery mezi statickými kontrolami a dynamickým chováním agentů vyvinula AWS AI Risk Intelligence (AIRI). AIRI redefinuje bezpečnost, provoz a řízení jako propojený rámec 'AI Risk Intelligence'. Jedná se o automatizované řešení řízení na podnikové úrovni, které automatizuje hodnocení bezpečnostních, provozních a řídicích kontrol a konsoliduje je do jednotného, akčního pohledu napříč celým životním cyklem agenta. Design AIRI využívá rámec AWS Responsible AI Best Practices Framework, který zákazníky provází integrací úvah o zodpovědné AI po celou dobu životního cyklu AI, což umožňuje informovaná rozhodnutí o designu a urychluje nasazení důvěryhodných systémů AI. Toto řešení zásadně mění řízení z reaktivního, manuálního procesu na proaktivní, automatizovaný a nepřetržitý.

To, co činí AIRI obzvláště mocnou, je její framework-agnostická povaha. Nekóduje pevně pravidla pro konkrétní hrozby, ale kalibruje se podle široké škály standardů řízení, včetně NIST AI Risk Management Framework, ISO a OWASP. To znamená, že stejný motor, který vyhodnocuje bezpečnostní kontroly OWASP, může také posuzovat interní politiky transparentnosti organizace nebo oborově specifické požadavky na soulad. Tato adaptabilita zajišťuje, že AIRI zůstává relevantní napříč různými architekturami agentů, odvětvími a vyvíjejícími se rizikovými profily, přičemž na základě důkazů funguje jako nepřetržitý, škálovatelný auditor. Převádí abstraktní požadavky rámce na konkrétní, proveditelné hodnocení integrované do celého agentního životního cyklu, od návrhu až po postprodukci.

AIRI v akci: Zavedení automatizovaného řízení do provozu

Vraťme se k našemu příkladu asistenta AI, abychom ilustrovali, jak AIRI zavádí automatizované řízení do provozu. Představte si, že vývojový tým vytvořil Proof of Concept (POC) pro tohoto asistenta AI. Před nasazením do produkce využívají AIRI. Pro zavedení základního posouzení je aktivována funkce automatické kontroly technické dokumentace AIRI. Tento proces automaticky shromažďuje důkazy o implementaci kontrol, hodnotí nejen bezpečnost, ale také kritické provozní kontroly kvality, jako je transparentnost, ovladatelnost, vysvětlitelnost, bezpečnost a robustnost. Analýza zahrnuje design případu použití, jeho základní infrastrukturu a relevantní organizační politiky, aby se zajistila shoda s podnikovým řízením a požadavky na soulad.

Zde je příklad typů kontrol, které by AIRI mohla posoudit během této fáze:

Kategorie kontroly	Popis	Zaměření hodnocení AIRI
Bezpečnost	Šifrování dat, řízení přístupu, správa zranitelností	Ověření nakládání s daty, přístupu k nástrojům a potenciálních vektorů zneužití.
Provoz	Monitorování, protokolování, reakce na incidenty	Hodnocení pozorovatelnosti systému a schopností reakce.
Transparentnost	Původ modelu, zdroje dat, proces rozhodování	Jasnost vnitřního fungování AI a původu dat.
Ovladatelnost	Mechanizmy lidského dohledu, body zásahu, nouzové zastavení	Efektivita protokolů 'člověk v cyklu' a bezpečnostních protokolů.
Vysvětlitelnost	Odůvodnění akcí agenta, interpretovatelnost výsledků	Schopnost porozumět, proč agent provedl konkrétní akci.
Bezpečnost	Detekce zkreslení, etické směrnice, metriky spravedlnosti	Dodržování principů zodpovědné AI a zmírnění škodlivých výstupů.
Robustnost	Odolnost vůči nepřátelským útokům, zpracování chyb, spolehlivost	Schopnost systému udržet výkon pod tlakem a proti manipulaci.
Soulad s předpisy	Dodržování předpisů, průmyslové standardy, organizační politiky	Soulad s právními předpisy a interními rámci řízení.

Pro každou dimenzi kontroly AIRI provádí uvažovací smyčku. Nejprve extrahuje specifická kritéria hodnocení z příslušného rámce řízení. Dále získává důkazy přímo z artefaktů systému – včetně architektonických dokumentů, konfigurací agentů a organizačních politik. Nakonec uvažuje o souladu mezi požadavky rámce a prokázanými důkazy systému, čímž určuje efektivitu implementace kontroly. Tento přístup založený na uvažování umožňuje AIRI adaptovat se na nové návrhy agentů, vyvíjející se rámce a vznikající rizikové kategorie, aniž by bylo nutné přepracovávat její základní logiku.

Pro zvýšení spolehlivosti těchto posudků AIRI využívá techniku zvanou sémantická entropie. Opakuje každé hodnocení vícekrát a měří konzistenci svých závěrů. Pokud se výstupy výrazně liší napříč běhy, signalizuje to, že důkazy mohou být nejednoznačné nebo nedostatečné. V takových případech AIRI inteligentně spustí lidskou kontrolu, čímž zabrání potenciálně nespolehlivým automatizovaným posudkům a zajistí robustní proces řízení. Tento inovativní přístup efektivně překlenuje mezeru mezi abstraktními požadavky rámce a konkrétním chováním agenta, přeměňuje záměr řízení na strukturované, opakovatelné a škálovatelné hodnocení napříč komplexními agentními systémy.

Závěr: Zabezpečení budoucnosti agentní AI

Vzestup agentní AI znamená zásadní posun v tom, jak se organizace musí stavět k nasazení a řízení AI. Éra předvídatelných, statických systémů je pryč, nahrazena dynamickými, nedeterministickými agenty, kteří vyžadují novou úroveň sofistikovanosti v řízení rizik. Tradiční modely řízení jednoduše nestačí držet krok s rychlostí a složitostí těchto pokroků v AI. AI Risk Intelligence (AIRI) od AWS poskytuje kritické řešení, které nabízí automatizovaný, komplexní a adaptivní rámec pro zabezpečení a řízení agentních systémů. Integrací bezpečnosti, provozu a řízení do jednoho, nepřetržitého pohledu AIRI umožňuje organizacím s důvěrou sledovat své ambice v oblasti AI, zatímco dodržují principy zodpovědné AI a zajišťují soulad s předpisy. Jak organizace pokračují v zavádění agentní AI do provozu, řešení jako AIRI budou nepostradatelná při transformaci potenciálních rizik na příležitosti pro inovace a růst.