What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

AI-styring: Risikointelligens for agentiske systemer

Den Agentiske AI-Æra: Omformning af Virksomheds-AI-Styring

AI-landskabet udvikler sig hurtigt og indvarsler en 'agentisk æra', hvor AI-systemer opererer med hidtil uset autonomi. Borte er dagene med forudsigelig, binær DevOps; agentisk AI er ikke-deterministisk, idet den tilpasser sig og ræsonnerer uafhængigt. Dette paradigmeskifte udgør en dyb udfordring for traditionelle IT-styringsrammer, som var designet til statiske, forudsigelige implementeringer. Organisationer kæmper med inkonsekvente sikkerhedspositioner, compliance-huller og uigennemsigtige observerbarhedsmetrikker for disse komplekse multi-system-interaktioner. Dette dynamiske miljø nødvendiggør en ny tilgang til sikkerhed, drift og styring, set som indbyrdes afhængige dimensioner af et agentisk systems sundhed. Det er ud fra dette kritiske behov, at AI Risk Intelligence (AIRI) opstår. Udviklet af AWS Generative AI Innovation Center og bygget på det robuste AWS Responsible AI Best Practices Framework, er AIRI en automatiseret styringsløsning i virksomhedsklasse designet til at bringe klarhed og kontrol til den agentiske æra.

Agentisk AIs uforudsigelige natur og kaskaderisici

Agentisk AIs kerneegenskab er dens ikke-deterministiske adfærd. I modsætning til traditionel software kan det at spørge en agent det samme spørgsmål to gange give forskellige svar, da agenter uafhængigt vælger værktøjer og tilgange frem for at følge stive arbejdsgange. Denne fluiditet betyder, at kvalitet eksisterer på en gradient, fra perfekt til fabrikeret, snarere end en simpel bestået/ikke-bestået. Følgelig har forudsigelige afhængigheder og processer veget pladsen for autonome systemer, der tilpasser sig, ræsonnerer og handler uafhængigt.

Traditionel IT-styring, bygget til statiske implementeringer, kan ikke effektivt håndtere disse komplekse multi-system-interaktioner. Dette skaber betydelige blinde vinkler. For eksempel identificerer Open Worldwide Application Security Project (OWASP) 'Misbrug og udnyttelse af værktøjer' som en top-risiko for agentiske applikationer. Overvej et scenarie, hvor en virksomheds-AI-assistent, der legitimt er konfigureret med adgang til e-mail, kalender og CRM, kompromitteres. En ondsindet aktør indlejrer skjulte instruktioner i en e-mail. Når en bruger anmoder om et uskyldigt resumé, søger den kompromitterede agent, der opererer inden for sine tildelte tilladelser, efter følsomme data og eksfiltrerer dem via kalenderinvitationer, alt imens den giver et godartet svar, der maskerer bruddet. Standardværktøjer til forebyggelse af datatab og netværksovervågning fejler her, fordi handlingerne, selvom de er ondsindede, finder sted inden for autoriserede parametre og ikke nødvendigvis udløser dataflytning eller netværksanomalier på måder, som traditionelle systemer ville opdage. Dette fremhæver, hvordan sikkerhedssårbarheder i agentiske systemer kan kaskadere på tværs af flere operationelle dimensioner samtidigt, hvilket gør traditionel, silo-baseret styring ineffektiv. Sådanne scenarier understreger vigtigheden af strategier som design af agenter, der modstår prompt-injektion fra starten.

Introduktion af AI Risk Intelligence (AIRI): Et Paradigmeskifte inden for Styring

For at bygge bro over kløften mellem statiske kontroller og dynamiske agentiske adfærd, udviklede AWS AI Risk Intelligence (AIRI). AIRI omdefinerer sikkerhed, drift og styring som en indbyrdes forbundet 'AI-risikointelligens'-ramme. Det er en automatiseret styringsløsning i virksomhedsklasse, der automatiserer vurderingen af sikkerheds-, drifts- og styringskontroller og konsoliderer dem i et enkelt, handlingsorienteret synspunkt gennem hele det agentiske livscyklus. AIRIs design udnytter AWS Responsible AI Best Practices Framework, som guider kunder i at integrere ansvarlige AI-overvejelser gennem hele AI-livscyklussen, hvilket muliggør informerede designbeslutninger og accelererer implementeringen af betroede AI-systemer. Denne løsning flytter grundlæggende styring fra en reaktiv, manuel proces til en proaktiv, automatiseret og kontinuerlig proces.

Hvad der gør AIRI særligt kraftfuld, er dens rammeværksagnostiske natur. Den hardkoder ikke regler for specifikke trusler, men kalibrerer mod en bred vifte af styringsstandarder, herunder NIST AI Risk Management Framework, ISO og OWASP. Dette betyder, at den samme motor, der evaluerer OWASP's sikkerhedskontroller, også kan vurdere en organisations interne gennemsigtighedspolitikker eller branchespecifikke compliance-krav. Denne tilpasningsevne sikrer, at AIRI forbliver relevant på tværs af forskellige agentarkitekturer, brancher og udviklende risikoprofiler, idet den ræsonnerer over beviser som en kontinuerlig, skalerbar revisor. Den omdanner abstrakte rammeværkskrav til konkrete, handlingsorienterede evalueringer indlejret på tværs af hele det agentiske livscyklus, fra design til efterproduktion.

AIRI i aktion: Operationalisering af automatiseret styring

Lad os genbesøge vores AI-assistent eksempel for at illustrere, hvordan AIRI operationaliserer automatiseret styring. Forestil dig, at et udviklingsteam har skabt et Proof of Concept (POC) for denne AI-assistent. Før implementering i produktion anvender de AIRI. For at etablere en grundlæggende vurdering aktiveres AIRIs automatiserede tekniske dokumentationsgennemgangskapacitet. Denne proces indsamler automatisk beviser for kontrolimplementeringer, og evaluerer ikke kun sikkerhed, men også kritiske operationelle kvalitetskontroller såsom gennemsigtighed, kontrollerbarhed, forklarbarhed, sikkerhed og robusthed. Analysen omfatter brugscasens design, dens underliggende infrastruktur og relevante organisatoriske politikker for at sikre overensstemmelse med virksomhedens styrings- og compliance-krav.

Her er et eksempel på de typer kontroller, AIRI kan vurdere i denne fase:

Kontrolkategori	Beskrivelse	AIRI Vurderingsfokus
Sikkerhed	Datakryptering, adgangskontrol, sårbarhedsstyring	Verificering af datahåndtering, værktøjsadgang og potentielle udnyttelsesvektorer.
Drift	Overvågning, logning, hændelsesrespons	Evaluering af systemets observerbarhed og reaktionsevner.
Gennemsigtighed	Modellens oprindelse, datakilder, beslutningsproces	Klarhed over AI's interne funktion og dataherkomst.
Kontrollerbarhed	Menneskelige tilsynsmekanismer, interventionspunkter, nødstop	Effektivitet af 'human-in-the-loop' og fejlsikre protokoller.
Forklarbarhed	Begrundelse for agents handlinger, fortolkning af resultater	Evne til at forstå hvorfor en agent udførte en specifik handling.
Sikkerhed	Bias-detektion, etiske retningslinjer, fairness-metrikker	Overholdelse af ansvarlige AI-principper og afbødning af skadelige output.
Robusthed	Modstandsdygtighed over for fjendtlige angreb, fejlhåndtering, pålidelighed	Systemets evne til at opretholde ydeevne under stress og mod manipulation.
Compliance	Overholdelse af lovgivning, industristandarder, organisatoriske politikker	Overensstemmelse med juridiske mandater og interne styringsrammer.

For hver kontrol-dimension udfører AIRI en ræsonnementssløjfe. Først udtrækker den specifikke evalueringskriterier fra den gældende styringsramme. Dernæst trækker den beviser direkte fra systemets artefakter – herunder arkitekturdokumenter, agentkonfigurationer og organisatoriske politikker. Endelig ræsonnerer den over overensstemmelsen mellem rammeværkets krav og systemets demonstrerede beviser, og bestemmer effektiviteten af kontrollens implementering. Denne ræsonnementbaserede tilgang gør det muligt for AIRI at tilpasse sig nye agentdesigns, udviklende rammer og nye risikokategorier uden at kræve genudvikling af dens kernelogik.

For at forbedre pålideligheden af disse bedømmelser anvender AIRI en teknik kaldet semantisk entropi. Den gentager hver evaluering flere gange og måler konsistensen af dens konklusioner. Hvis output varierer betydeligt på tværs af kørslen, signalerer det, at beviset kan være tvetydigt eller utilstrækkeligt. I sådanne tilfælde udløser AIRI intelligent en menneskelig gennemgang, hvilket forhindrer potentielt upålidelige automatiserede bedømmelser og sikrer en robust styringsproces. Denne innovative tilgang bygger effektivt bro over kløften mellem abstrakte rammeværkskrav og konkret agentadfærd, og omdanner styringshensigt til en struktureret, gentagelig og skalerbar evaluering på tværs af komplekse agentiske systemer.

Konklusion: Sikring af fremtiden for agentisk AI

Fremkomsten af agentisk AI markerer et fundamentalt skift i, hvordan organisationer skal tilgå AI-implementering og styring. Æraen med forudsigelige, statiske systemer er forbi, erstattet af dynamiske, ikke-deterministiske agenter, der kræver et nyt niveau af sofistikering inden for risikostyring. Traditionelle styringsmodeller er simpelthen utilstrækkelige til at holde trit med hastigheden og kompleksiteten af disse AI-fremskridt. AI Risk Intelligence (AIRI) fra AWS tilbyder en kritisk løsning, der giver en automatiseret, omfattende og adaptiv ramme for sikring og styring af agentiske systemer. Ved at integrere sikkerhed, drift og styring i et enkelt, kontinuerligt synspunkt, giver AIRI organisationer mulighed for trygt at forfølge deres AI-ambitioner, samtidig med at de opretholder ansvarlige AI-principper og sikrer compliance. Efterhånden som organisationer fortsætter med at operationalisere agentisk AI, vil løsninger som AIRI være uundværlige til at omdanne potentielle risici til muligheder for innovation og vækst.