What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

AI-styring: Risikointelligens for agentiske systemer

Den agentiske AI-æraen: Omforming av bedriftens AI-styring

AI-landskapet utvikler seg raskt, og innleder en 'agentisk æra' der AI-systemer opererer med enestående autonomi. Dagene med forutsigbare, binære DevOps er forbi; agentisk AI er ikke-deterministisk, tilpasser seg og resonnerer uavhengig. Dette paradigmeskiftet utgjør en dyp utfordring for tradisjonelle IT-styringsrammeverk, som ble designet for statiske, forutsigbare distribusjoner. Organisasjoner sliter med inkonsekvente sikkerhetsposisjoner, samsvarsbrister og uklare observerbarhetsmålinger for disse komplekse multisysteminteraksjonene. Dette dynamiske miljøet krever en ny tilnærming til sikkerhet, drift og styring, sett på som gjensidig avhengige dimensjoner av agentisk systemhelse. Det er fra dette kritiske behovet at AI Risk Intelligence (AIRI) dukker opp. Utviklet av AWS Generative AI Innovation Center og bygget på det robuste AWS Responsible AI Best Practices Framework, er AIRI en automatisert styringsløsning i bedriftsklassen designet for å bringe klarhet og kontroll til den agentiske æraen.

Agentisk AIs uforutsigbare natur og kaskaderisikoer

Agentisk AIs kjernemåte er dets ikke-deterministiske oppførsel. I motsetning til tradisjonell programvare kan det å spørre en agent det samme spørsmålet to ganger gi forskjellige svar, ettersom agenter uavhengig velger verktøy og tilnærminger i stedet for å følge stive arbeidsflyter. Denne flyten betyr at kvalitet eksisterer på en gradient, fra perfekt til fabrikert, snarere enn en enkel bestått/ikke bestått. Følgelig har forutsigbare avhengigheter og prosesser veket plassen for autonome systemer som tilpasser seg, resonnerer og handler uavhengig.

Tradisjonell IT-styring, bygget for statiske distribusjoner, kan ikke effektivt håndtere disse komplekse multisysteminteraksjonene. Dette skaper betydelige blindsoner. For eksempel identifiserer Open Worldwide Application Security Project (OWASP) 'Verktøymisbruk og Utnyttelse' som en topprisiko for agentiske applikasjoner. Tenk deg et scenario der en bedrifts-AI-assistent, legitimt konfigurert med tilgang til e-post, kalender og CRM, blir kompromittert. En ondsinnet aktør legger inn skjulte instruksjoner i en e-post. Når en bruker ber om et uskyldig sammendrag, søker den kompromitterte agenten, som opererer innenfor sine tildelte tillatelser, etter sensitive data og eksfiltrerer dem via kalenderinvitasjoner, alt mens den gir et godartet svar som maskerer bruddet. Standardverktøy for datatapforebygging og nettverksovervåking feiler her fordi handlingene, selv om de er ondsinnede, skjer innenfor autoriserte parametere og ikke nødvendigvis utløser dataflytting eller nettverksavvik på måter tradisjonelle systemer ville oppdaget. Dette fremhever hvordan sikkerhetssårbarheter i agentiske systemer kan kaskadere over flere operasjonelle dimensjoner samtidig, noe som gjør tradisjonell, siloert styring ineffektiv. Slike scenarier understreker viktigheten av strategier som design av agenter for å motstå promptinjeksjon fra starten av.

Introduksjon av AI Risk Intelligence (AIRI): Et paradigmeskifte innen styring

For å bygge bro over gapet mellom statiske kontroller og dynamisk agentisk atferd, utviklet AWS AI Risk Intelligence (AIRI). AIRI omdefinerer sikkerhet, drift og styring som et sammenkoblet 'AI-risikointelligens'-rammeverk. Det er en automatisert styringsløsning i bedriftsklassen som automatiserer vurderingen av sikkerhets-, drifts- og styringskontroller, og konsoliderer dem til et enkelt, handlingsbart synspunkt gjennom hele den agentiske livssyklusen. AIRIs design utnytter AWS Responsible AI Best Practices Framework, som veileder kunder i å integrere ansvarlige AI-hensyn gjennom hele AI-livssyklusen, noe som muliggjør informerte designbeslutninger og akselererer distribusjonen av pålitelige AI-systemer. Denne løsningen flytter grunnleggende styring fra en reaktiv, manuell prosess til en proaktiv, automatisert og kontinuerlig en.

Det som gjør AIRI spesielt kraftig, er dets rammeverksuavhengige natur. Det hardkoder ikke regler for spesifikke trusler, men kalibrerer mot et bredt spekter av styringsstandarder, inkludert NIST AI Risk Management Framework, ISO og OWASP. Dette betyr at den samme motoren som evaluerer OWASP-sikkerhetskontroller også kan vurdere en organisasjons interne åpenhetspolicyer eller bransjespesifikke samsvarskrav. Denne tilpasningsevnen sikrer at AIRI forblir relevant på tvers av forskjellige agentarkitekturer, bransjer og utviklende risikoprofiler, og resonnerer over bevis som en kontinuerlig, skalerbar revisor. Det omdanner abstrakte rammeverkskrav til konkrete, handlingsbare evalueringer innebygd gjennom hele den agentiske livssyklusen, fra design til etterproduksjon.

AIRI i aksjon: Operasjonalisering av automatisert styring

La oss se på eksemplet med vår AI-assistent igjen for å illustrere hvordan AIRI operasjonaliserer automatisert styring. Tenk deg at et utviklingsteam har laget en Proof of Concept (POC) for denne AI-assistenten. Før distribusjon til produksjon benytter de AIRI. For å etablere en grunnleggende vurdering aktiveres AIRIs automatiserte tekniske dokumentasjonsgjennomgang. Denne prosessen samler automatisk bevis for kontrollimplementeringer, og evaluerer ikke bare sikkerhet, men også kritiske operasjonelle kvalitetskontroller som åpenhet, kontrollerbarhet, forklarbarhet, trygghet og robusthet. Analysen omfatter bruksscenariets design, dets underliggende infrastruktur og relevante organisasjonspolicyer for å sikre samsvar med bedriftens styrings- og samsvarskrav.

Her er et eksempel på hvilke typer kontroller AIRI kan vurdere i denne fasen:

Kontrollkategori	Beskrivelse	AIRIs Vurderingsfokus
Sikkerhet	Datakryptering, tilgangskontroll, sårbarhetshåndtering	Verifisering av datahåndtering, verktøytilgang og potensielle utnyttelsesvektorer.
Drift	Overvåking, logging, hendelseshåndtering	Evaluering av systemets observerbarhet og reaksjonsevne.
Åpenhet	Modellens opprinnelse, datakilder, beslutningsprosess	Klarhet i AIs interne virkemåte og datas herkomst.
Kontrollerbarhet	Menneskelige tilsynsmekanismer, intervensjonspunkter, nødstopp	Effektivitet av human-in-the-loop og feilsikre protokoller.
Forklarbarhet	Begrunnelse for agenthandlinger, tolkbarhet av resultater	Evne til å forstå hvorfor en agent tok en spesifikk handling.
Trygghet	Avviksdeteksjon, etiske retningslinjer, rettferdighetsmål	Overholdelse av ansvarlige AI-prinsipper og reduksjon av skadelige utdata.
Robusthet	Motstand mot fiendtlige angrep, feilhåndtering, pålitelighet	Systemets evne til å opprettholde ytelse under stress og mot manipulering.
Samsvar	Overholdelse av regelverk, bransjestandarder, organisasjonspolicyer	Samsvar med juridiske mandater og interne styringsrammeverk.

For hver kontrolldimensjon utfører AIRI en resonneringssløyfe. Først utleder den spesifikke evalueringskriterier fra det gjeldende styringsrammeverket. Deretter henter den bevis direkte fra systemets artefakter – inkludert arkitekturdokumenter, agentkonfigurasjoner og organisasjonspolicyer. Til slutt resonnerer den over samsvaret mellom rammeverkets krav og systemets demonstrerte bevis, og bestemmer effektiviteten av kontrollens implementering. Denne resonneringsbaserte tilnærmingen gjør at AIRI kan tilpasse seg nye agentdesign, utviklende rammeverk og nye risikokategorier uten å kreve omkonstruksjon av kjernelogikken.

For å forbedre påliteligheten av disse vurderingene, bruker AIRI en teknikk kalt semantisk entropi. Den gjentar hver evaluering flere ganger og måler konsistensen av konklusjonene. Hvis utdataene varierer betydelig på tvers av kjøringer, signaliserer det at beviset kan være tvetydig eller utilstrekkelig. I slike tilfeller utløser AIRI intelligent en menneskelig gjennomgang, noe som forhindrer potensielt upålitelige automatiserte vurderinger og sikrer en robust styringsprosess. Denne innovative tilnærmingen bygger effektivt bro over gapet mellom abstrakte rammeverkskrav og konkret agentatferd, og transformerer styringsintensjon til en strukturert, repeterbar og skalerbar evaluering på tvers av komplekse agentiske systemer.

Konklusjon: Sikring av fremtiden for agentisk AI

Fremveksten av agentisk AI markerer et grunnleggende skifte i hvordan organisasjoner må tilnærme seg AI-distribusjon og -styring. Æraen med forutsigbare, statiske systemer er over, erstattet av dynamiske, ikke-deterministiske agenter som krever et nytt nivå av raffinement i risikostyring. Tradisjonelle styringsmodeller er rett og slett utilstrekkelige til å holde tritt med hastigheten og kompleksiteten i disse AI-fremskrittene. AI Risk Intelligence (AIRI) fra AWS tilbyr en kritisk løsning, som tilbyr et automatisert, omfattende og adaptivt rammeverk for å sikre og styre agentiske systemer. Ved å integrere sikkerhet, drift og styring i et enkelt, kontinuerlig synspunkt, gir AIRI organisasjoner mulighet til å trygt forfølge sine AI-ambisjoner, samtidig som de opprettholder ansvarlige AI-prinsipper og sikrer samsvar. Ettersom organisasjoner fortsetter å operasjonalisere agentisk AI, vil løsninger som AIRI være uunnværlige for å transformere potensielle risikoer til muligheter for innovasjon og vekst.