What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

AI-governance: Risico-intelligentie voor Agentic Systemen

Het Agentic AI-tijdperk: Hervorming van Enterprise AI-governance

Het AI-landschap evolueert snel en luidt een "agentic tijdperk" in waarin AI-systemen opereren met een ongekende autonomie. Voorbij zijn de dagen van voorspelbare, binaire DevOps; agentic AI is niet-deterministisch, past zich onafhankelijk aan en redeneert zelfstandig. Deze paradigmaverschuiving vormt een diepgaande uitdaging voor traditionele IT-governance-frameworks, die zijn ontworpen voor statische, voorspelbare implementaties. Organisaties worstelen met inconsistente beveiligingshoudingen, compliance-lacunes en ondoorzichtige waarneembaarheidsmetrieken voor deze complexe multi-systeeminteracties. Deze dynamische omgeving vereist een nieuwe benadering van beveiliging, operaties en governance, gezien als onderling afhankelijke dimensies van de gezondheid van agentic systemen. Uit deze cruciale behoefte is AI Risk Intelligence (AIRI) voortgekomen. Ontwikkeld door het AWS Generative AI Innovation Center en gebouwd op het robuuste AWS Responsible AI Best Practices Framework, is AIRI een enterprise-grade geautomatiseerde governance-oplossing die is ontworpen om duidelijkheid en controle te bieden in het agentic tijdperk.

De onvoorspelbare aard en trapsgewijze risico's van Agentic AI

De kernkarakteristiek van Agentic AI is zijn niet-deterministische gedrag. In tegenstelling tot traditionele software kan het stellen van dezelfde vraag aan een agent twee keer verschillende antwoorden opleveren, omdat agents onafhankelijk tools en benaderingen kiezen in plaats van strikte workflows te volgen. Deze vloeibaarheid betekent dat kwaliteit op een glijdende schaal bestaat, van perfect tot gefabriceerd, in plaats van een simpele geslaagd-gezakt. Dientengevolge hebben voorspelbare afhankelijkheden en processen plaatsgemaakt voor autonome systemen die zich onafhankelijk aanpassen, redeneren en handelen.

Traditionele IT-governance, gebouwd voor statische implementaties, kan deze complexe multi-systeeminteracties niet effectief beheren. Dit creëert aanzienlijke blinde vlekken. Het Open Worldwide Application Security Project (OWASP) identificeert bijvoorbeeld "Tool Misuse and Exploitation" als een toprisico voor agentic applicaties. Overweeg een scenario waarin een enterprise AI-assistent, legitiem geconfigureerd met toegang tot e-mail, agenda en CRM, wordt gecompromitteerd. Een kwaadwillende actor verbergt instructies in een e-mail. Wanneer een gebruiker om een onschuldige samenvatting vraagt, zoekt de gecompromitteerde agent, opererend binnen zijn toegekende machtigingen, naar gevoelige gegevens en exfiltreert deze via agenda-uitnodigingen, terwijl hij een goedaardige reactie geeft die de inbreuk maskeert. Standaard tools voor gegevensverliespreventie en netwerkmonitoring falen hier, omdat de acties, hoewel kwaadwillig, plaatsvinden binnen geautoriseerde parameters en niet noodzakelijkerwijs gegevensverplaatsing of netwerkanomalieën veroorzaken op manieren die traditionele systemen zouden detecteren. Dit benadrukt hoe beveiligingskwetsbaarheden in agentic systemen gelijktijdig over meerdere operationele dimensies kunnen cascaderen, waardoor traditionele, gescheiden governance ineffectief wordt. Dergelijke scenario's onderstrepen het belang van strategieën zoals agents ontwerpen om prompt-injectie te weerstaan vanaf het begin.

Introductie van AI Risk Intelligence (AIRI): Een paradigmaverschuiving in governance

Om de kloof tussen statische controles en dynamisch agentic gedrag te overbruggen, heeft AWS AI Risk Intelligence (AIRI) ontwikkeld. AIRI herdefinieert beveiliging, operaties en governance als een onderling verbonden "AI Risk Intelligence"-framework. Het is een enterprise-grade geautomatiseerde governance-oplossing die de beoordeling van beveiligings-, operatie- en governance-controles automatiseert en deze samenvoegt tot één enkel, bruikbaar overzicht gedurende de gehele agentic levenscyclus. Het ontwerp van AIRI maakt gebruik van het AWS Responsible AI Best Practices Framework, dat klanten begeleidt bij het integreren van verantwoorde AI-overwegingen gedurende de hele AI-levenscyclus, waardoor geïnformeerde ontwerpbeslissingen mogelijk worden gemaakt en de implementatie van vertrouwde AI-systemen wordt versneld. Deze oplossing verschuift governance fundamenteel van een reactief, handmatig proces naar een proactief, geautomatiseerd en continu proces.

Wat AIRI bijzonder krachtig maakt, is de framework-agnostische aard. Het codeert geen regels voor specifieke bedreigingen, maar kalibreert zich tegen een breed scala aan governance-standaarden, waaronder het NIST AI Risk Management Framework, ISO en OWASP. Dit betekent dat dezelfde engine die OWASP-beveiligingscontroles evalueert, ook de interne transparantiebeleidslijnen of sectorspecifieke compliance-vereisten van een organisatie kan beoordelen. Deze aanpasbaarheid zorgt ervoor dat AIRI relevant blijft voor diverse agent-architecturen, industrieën en evoluerende risicoprofielen, waarbij het redeneert over bewijsmateriaal als een continue, schaalbare auditor. Het transformeert abstracte framework-vereisten in concrete, bruikbare evaluaties die zijn ingebed in de gehele agentic levenscyclus, van ontwerp tot na de productie.

AIRI in actie: Geautomatiseerde governance operationaliseren

Laten we teruggaan naar ons AI-assistentvoorbeeld om te illustreren hoe AIRI geautomatiseerde governance operationaliseert. Stel je voor dat een ontwikkelingsteam een Proof of Concept (POC) heeft gemaakt voor deze AI-assistent. Voordat ze deze in productie nemen, gebruiken ze AIRI. Om een fundamentele beoordeling vast te stellen, wordt de geautomatiseerde technische documentatiebeoordelingsmogelijkheid van AIRI ingeschakeld. Dit proces verzamelt automatisch bewijsmateriaal van controle-implementaties, en evalueert niet alleen beveiliging, maar ook kritieke operationele kwaliteitscontroles zoals transparantie, beheersbaarheid, verklaarbaarheid, veiligheid en robuustheid. De analyse omvat het ontwerp van de use case, de onderliggende infrastructuur en relevante organisatiebeleidslijnen om afstemming met bedrijfs-governance- en compliance-vereisten te waarborgen.

Hier is een voorbeeld van de soorten controles die AIRI in deze fase kan beoordelen:

Controlecategorie	Beschrijving	AIRI Beoordelingsfocus
Beveiliging	Gegevensversleuteling, toegangscontrole, kwetsbaarheidsbeheer	Verificatie van gegevensverwerking, toegang tot tools en potentiële exploit-vectoren.
Operaties	Monitoring, logging, incidentrespons	Evaluatie van systeemwaarneembaarheid en reactiemogelijkheden.
Transparantie	Modelherkomst, gegevensbronnen, besluitvormingsproces	Duidelijkheid van de interne werking van AI en herkomst van gegevens.
Beheersbaarheid	Menselijke toezichtmechanismen, interventiepunten, noodstop	Effectiviteit van human-in-the-loop en fail-safe protocollen.
Verklaarbaarheid	Reden voor agentacties, interpreteerbaarheid van resultaten	Vermogen om te begrijpen waarom een agent een specifieke actie heeft ondernomen.
Veiligheid	Detectie van vooroordelen, ethische richtlijnen, eerlijkheidsmetrieken	Naleving van verantwoorde AI-principes en beperking van schadelijke output.
Robuustheid	Veerkracht tegen vijandige aanvallen, foutafhandeling, betrouwbaarheid	Het vermogen van het systeem om prestaties te behouden onder stress en tegen manipulatie.
Compliance	Naleving van regelgeving, industriestandaarden, organisatorische beleidslijnen	Afstemming op wettelijke mandaten en interne governance-frameworks.

Voor elke controledimensie voert AIRI een redeneerloop uit. Eerst extraheert het specifieke evaluatiecriteria uit het toepasselijke governance-framework. Vervolgens haalt het bewijsmateriaal rechtstreeks uit de artefacten van het systeem — inclusief architectuurdocumenten, agentconfiguraties en organisatiebeleidslijnen. Ten slotte redeneert het over de afstemming tussen de vereisten van het framework en het aangetoonde bewijsmateriaal van het systeem, waarbij de effectiviteit van de implementatie van de controle wordt bepaald. Deze op redenering gebaseerde benadering stelt AIRI in staat zich aan te passen aan nieuwe agentontwerpen, evoluerende frameworks en opkomende risicocategorieën zonder dat de kernlogica opnieuw hoeft te worden ontworpen.

Om de betrouwbaarheid van deze oordelen te verbeteren, maakt AIRI gebruik van een techniek genaamd semantische entropie. Het herhaalt elke evaluatie meerdere keren en meet de consistentie van zijn conclusies. Als outputs aanzienlijk variëren tussen runs, geeft dit aan dat het bewijsmateriaal ambigu of onvoldoende kan zijn. In dergelijke gevallen activeert AIRI intelligent een menselijke beoordeling, waardoor potentieel onbetrouwbare geautomatiseerde oordelen worden voorkomen en een robuust governanceproces wordt gewaarborgd. Deze innovatieve benadering overbrugt effectief de kloof tussen abstracte framework-vereisten en concreet agentgedrag, en transformeert governance-intentie in een gestructureerde, herhaalbare en schaalbare evaluatie over complexe agentic systemen.

Conclusie: De toekomst van Agentic AI beveiligen

De opkomst van agentic AI markeert een fundamentele verschuiving in hoe organisaties AI-implementatie en governance moeten benaderen. Het tijdperk van voorspelbare, statische systemen is voorbij, vervangen door dynamische, niet-deterministische agents die een nieuw niveau van verfijning in risicobeheer vereisen. Traditionele governance-modellen zijn simpelweg onvoldoende om gelijke tred te houden met de snelheid en complexiteit van deze AI-vooruitgangen. AI Risk Intelligence (AIRI) van AWS biedt een cruciale oplossing, met een geautomatiseerd, uitgebreid en adaptief framework voor het beveiligen en beheren van agentic systemen. Door beveiliging, operaties en governance te integreren in één enkel, doorlopend overzicht, stelt AIRI organisaties in staat hun AI-ambities met vertrouwen na te streven, terwijl verantwoorde AI-principes worden gehandhaafd en compliance wordt gewaarborgd. Naarmate organisaties doorgaan met het operationaliseren van agentic AI, zullen oplossingen zoals AIRI onmisbaar zijn bij het transformeren van potentiële risico's in kansen voor innovatie en groei.