What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

AI-styrning: Riskintelligens för agentiska system

Den agentiska AI-eran: Omformar AI-styrning i företag

AI-landskapet utvecklas snabbt och inleder en 'agentisk era' där AI-system fungerar med oöverträffad autonomi. Borta är dagarna med förutsägbara, binära DevOps; agentisk AI är icke-deterministisk, anpassar sig och resonerar självständigt. Detta paradigmskifte utgör en djupgående utmaning för traditionella IT-styrningsramverk, som utformades för statiska, förutsägbara distributioner. Organisationer kämpar med inkonsekventa säkerhetslägen, efterlevnadsluckor och ogenomskinliga observerbarhetsmått för dessa komplexa interaktioner mellan flera system. Denna dynamiska miljö kräver ett nytt tillvägagångssätt för säkerhet, drift och styrning, sett som ömsesidigt beroende dimensioner av ett agentiskt systems hälsa. Det är från detta kritiska behov som AI Risk Intelligence (AIRI) framträder. Utvecklat av AWS Generative AI Innovation Center och byggt på det robusta AWS Responsible AI Best Practices Framework, är AIRI en automatiserad styrningslösning av företagsklass, utformad för att bringa klarhet och kontroll till den agentiska eran.

Agentisk AI:s oförutsägbara natur och kaskadrisker

Agentisk AI:s kärnegenskap är dess icke-deterministiska beteende. Till skillnad från traditionell programvara kan en agent ge olika svar om man ställer samma fråga två gånger, eftersom agenter självständigt väljer verktyg och metoder istället för att följa strikta arbetsflöden. Denna flexibilitet innebär att kvaliteten existerar på en skala, från perfekt till fabricerad, snarare än ett enkelt godkänt/underkänt. Följaktligen har förutsägbara beroenden och processer gett vika för autonoma system som anpassar sig, resonerar och agerar självständigt.

Traditionell IT-styrning, byggd för statiska distributioner, kan inte effektivt hantera dessa komplexa interaktioner mellan flera system. Detta skapar betydande blinda fläckar. Till exempel identifierar Open Worldwide Application Security Project (OWASP) 'Missbruk och exploatering av verktyg' som en topprisk för agentiska applikationer. Tänk dig ett scenario där en AI-assistent för företag, legitimt konfigurerad med åtkomst till e-post, kalender och CRM, komprometteras. En skadlig aktör bäddar in dolda instruktioner i ett e-postmeddelande. När en användare begär en oskyldig sammanfattning söker den komprometterade agenten, som agerar inom sina beviljade behörigheter, efter känslig data och exfiltrerar den via kalenderinbjudningar, allt medan den ger ett ofarligt svar som döljer intrånget. Standardverktyg för förebyggande av dataförlust och nätverksövervakning misslyckas här eftersom handlingarna, även om de är skadliga, sker inom auktoriserade parametrar och inte nödvändigtvis utlöser dataförflyttning eller nätverksavvikelser på sätt som traditionella system skulle upptäcka. Detta belyser hur säkerhetssårbarheter i agentiska system kan kaskadera över flera operativa dimensioner samtidigt, vilket gör traditionell, silobaserad styrning ineffektiv. Sådana scenarier understryker vikten av strategier som att utforma agenter för att motstå promptinjektion från början.

Introduktion av AI Risk Intelligence (AIRI): Ett paradigmskifte inom styrning

För att överbrygga klyftan mellan statiska kontroller och dynamiska agentiska beteenden utvecklade AWS AI Risk Intelligence (AIRI). AIRI omdefinierar säkerhet, drift och styrning som ett sammankopplat ramverk för 'AI-riskinformation'. Det är en automatiserad styrningslösning av företagsklass som automatiserar bedömningen av säkerhets-, drift- och styrningskontroller, och konsoliderar dem till en enda, handlingsbar överblick över hela den agentiska livscykeln. AIRI:s design utnyttjar AWS Responsible AI Best Practices Framework, som vägleder kunder att integrera överväganden kring ansvarstagande AI under hela AI-livscykeln, vilket möjliggör välgrundade designbeslut och påskyndar driftsättningen av betrodda AI-system. Denna lösning förflyttar i grunden styrningen från en reaktiv, manuell process till en proaktiv, automatiserad och kontinuerlig sådan.

Vad som gör AIRI särskilt kraftfullt är dess ramverksagnostiska natur. Det hårdkodar inte regler för specifika hot utan kalibrerar mot en mängd olika styrningsstandarder, inklusive NIST AI Risk Management Framework, ISO och OWASP. Detta innebär att samma motor som utvärderar OWASP:s säkerhetskontroller också kan bedöma en organisations interna transparensprinciper eller branschspecifika efterlevnadskrav. Denna anpassningsförmåga säkerställer att AIRI förblir relevant över olika agentarkitekturer, branscher och föränderliga riskprofiler, resonerande över bevis som en kontinuerlig, skalbar revisor. Det omvandlar abstrakta ramverkskrav till konkreta, handlingsbara utvärderingar inbäddade över hela den agentiska livscykeln, från design till efterproduktion.

AIRI i praktiken: Operationalisering av automatiserad styrning

Låt oss återbesöka vårt exempel med AI-assistenten för att illustrera hur AIRI operationaliserar automatiserad styrning. Föreställ dig att ett utvecklingsteam har skapat ett Proof of Concept (POC) för denna AI-assistent. Innan driftsättning i produktion använder de AIRI. För att upprätta en grundläggande bedömning aktiveras AIRI:s funktion för automatiserad teknisk dokumentationsgranskning. Denna process samlar automatiskt in bevis på kontrollimplementeringar, och utvärderar inte bara säkerhet utan även kritiska operationella kvalitetskontroller som transparens, kontrollerbarhet, förklarbarhet, säkerhet och robusthet. Analysen omfattar användningsfallens design, dess underliggande infrastruktur och relevanta organisationspolicyer för att säkerställa överensstämmelse med företagets styrnings- och efterlevnadskrav.

Här är ett exempel på de typer av kontroller som AIRI kan bedöma under denna fas:

Kontrollkategori	Beskrivning	AIRI:s bedömningsfokus
Säkerhet	Datakryptering, åtkomstkontroll, sårbarhetshantering	Verifiering av datahantering, verktygsåtkomst och potentiella utnyttjandekanaler.
Drift	Övervakning, loggning, incidenthantering	Utvärdering av systemets observerbarhet och reaktionsförmåga.
Transparens	Modellens ursprung, datakällor, beslutsprocess	Klarhet i AI:ns interna funktioner och datakällans härkomst.
Kontrollerbarhet	Mänskliga tillsynsmekanismer, interventionspunkter, nödstopp	Effektivitet av human-in-the-loop och felsäkra protokoll.
Förklarbarhet	Motivering för agents handlingar, tolkbarhet av resultat	Förmåga att förstå varför en agent utförde en specifik åtgärd.
Säkerhet	Detektion av bias, etiska riktlinjer, rättvisemått	Efterlevnad av principer för ansvarstagande AI och mildring av skadliga utdata.
Robusthet	Motståndskraft mot adversarial attacker, felhantering, tillförlitlighet	Systemets förmåga att bibehålla prestanda under stress och mot manipulation.
Efterlevnad	Regulatorisk efterlevnad, branschstandarder, organisationspolicyer	Överensstämmelse med lagkrav och interna styrningsramverk.

För varje kontrolldimension utför AIRI en resoneringsloop. Först extraherar den specifika utvärderingskriterier från det tillämpliga styrningsramverket. Därefter hämtar den bevis direkt från systemets artefakter – inklusive arkitekturdokument, agentkonfigurationer och organisationspolicyer. Slutligen resonerar den över överensstämmelsen mellan ramverkets krav och systemets påvisade bevis, och bestämmer effektiviteten av kontrollens implementering. Detta resonemangsbaserade tillvägagångssätt gör det möjligt för AIRI att anpassa sig till nya agentdesigner, föränderliga ramverk och framväxande riskkategorier utan att behöva omkonstruera sin kärnlogik.

För att öka tillförlitligheten i dessa bedömningar använder AIRI en teknik som kallas semantisk entropi. Den upprepar varje utvärdering flera gånger och mäter konsistensen i sina slutsatser. Om resultaten varierar avsevärt mellan körningar signalerar det att de underliggande bevisen kan vara tvetydiga eller otillräckliga. I sådana fall utlöser AIRI intelligent en mänsklig granskning, vilket förhindrar potentiellt opålitliga automatiserade bedömningar och säkerställer en robust styrningsprocess. Denna innovativa metod överbryggar effektivt klyftan mellan abstrakta ramverkskrav och konkret agentbeteende, och omvandlar styrningsavsikt till en strukturerad, repeterbar och skalbar utvärdering över komplexa agentiska system.

Slutsats: Säkerställa framtiden för agentisk AI

Uppkomsten av agentisk AI markerar ett grundläggande skifte i hur organisationer måste närma sig AI-driftsättning och -styrning. Eran av förutsägbara, statiska system är över, ersatt av dynamiska, icke-deterministiska agenter som kräver en ny nivå av sofistikering inom riskhantering. Traditionella styrningsmodeller är helt enkelt otillräckliga för att hålla jämna steg med hastigheten och komplexiteten i dessa AI-framsteg. AI Risk Intelligence (AIRI) från AWS tillhandahåller en kritisk lösning som erbjuder ett automatiserat, omfattande och adaptivt ramverk för att säkra och styra agentiska system. Genom att integrera säkerhet, drift och styrning i en enda, kontinuerlig överblick, ger AIRI organisationer möjlighet att självsäkert fullfölja sina AI-ambitioner samtidigt som de upprätthåller principer för ansvarstagande AI och säkerställer efterlevnad. När organisationer fortsätter att operationalisera agentisk AI, kommer lösningar som AIRI att vara oumbärliga för att omvandla potentiella risker till möjligheter för innovation och tillväxt.