What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

Gouvernance de l'IA : Intelligence des Risques pour les Systèmes Agentiques

L'ère de l'IA Agentique : Refaçonner la Gouvernance de l'IA d'Entreprise

Le paysage de l'IA évolue rapidement, marquant le début d'une « ère agentique » où les systèmes d'IA fonctionnent avec une autonomie sans précédent. L'époque des DevOps prévisibles et binaires est révolue ; l'IA agentique est non déterministe, s'adaptant et raisonnant de manière indépendante. Ce changement de paradigme représente un défi profond pour les cadres de gouvernance informatique traditionnels, qui ont été conçus pour des déploiements statiques et prévisibles. Les organisations sont confrontées à des postures de sécurité incohérentes, à des lacunes de conformité et à des métriques d'observabilité opaques pour ces interactions complexes entre systèmes multiples. Cet environnement dynamique nécessite une nouvelle approche de la sécurité, des opérations et de la gouvernance, considérées comme des dimensions interdépendantes de la santé des systèmes agentiques. C'est de ce besoin critique qu'émerge l'Intelligence des Risques de l'IA (AIRI). Développée par le Centre d'Innovation de l'IA Générative d'AWS et construite sur le robuste Cadre des Meilleures Pratiques d'IA Responsable d'AWS, AIRI est une solution de gouvernance automatisée de qualité entreprise conçue pour apporter clarté et contrôle à l'ère agentique.

La Nature Imprévisible de l'IA Agentique et les Risques en Cascade

La caractéristique essentielle de l'IA agentique est son comportement non déterministe. Contrairement aux logiciels traditionnels, poser la même question deux fois à un agent peut donner des réponses différentes, car les agents sélectionnent indépendamment les outils et les approches plutôt que de suivre des workflows rigides. Cette fluidité signifie que la qualité existe sur un dégradé, du parfait au fabriqué, plutôt qu'un simple succès ou échec. Par conséquent, les dépendances et processus prévisibles ont cédé la place à des systèmes autonomes qui s'adaptent, raisonnent et agissent indépendamment.

La gouvernance informatique traditionnelle, conçue pour les déploiements statiques, ne peut pas gérer efficacement ces interactions complexes entre systèmes multiples. Cela crée des angles morts significatifs. Par exemple, l'Open Worldwide Application Security Project (OWASP) identifie l'« Utilisation Abusive et l'Exploitation d'Outils » comme un risque majeur pour les applications agentiques. Prenons un scénario où un assistant d'IA d'entreprise, légitimement configuré avec un accès à la messagerie, au calendrier et au CRM, est compromis. Un acteur malveillant intègre des instructions cachées dans un e-mail. Lorsqu'un utilisateur demande un résumé anodin, l'agent compromis, opérant dans le cadre de ses permissions accordées, recherche des données sensibles et les exfiltre via des invitations de calendrier, tout en fournissant une réponse bénigne qui masque la violation. Les outils standards de prévention des pertes de données et de surveillance réseau échouent ici parce que les actions, bien que malveillantes, se produisent dans des paramètres autorisés et ne déclenchent pas nécessairement de mouvement de données ou d'anomalies réseau de la manière que les systèmes traditionnels détecteraient. Cela souligne comment les vulnérabilités de sécurité dans les systèmes agentiques peuvent se propager simultanément à travers plusieurs dimensions opérationnelles, rendant la gouvernance traditionnelle et cloisonnée inefficace. De tels scénarios soulignent l'importance de stratégies comme la conception d'agents pour résister à l'injection de prompts dès le départ.

Présentation de l'Intelligence des Risques de l'IA (AIRI) : Un Changement de Paradigme dans la Gouvernance

Pour combler le fossé entre les contrôles statiques et les comportements agentiques dynamiques, AWS a développé l'Intelligence des Risques de l'IA (AIRI). AIRI redéfinit la sécurité, les opérations et la gouvernance comme un cadre interconnecté d'« Intelligence des Risques de l'IA ». C'est une solution de gouvernance automatisée de qualité entreprise qui automatise l'évaluation des contrôles de sécurité, d'opérations et de gouvernance, les consolidant en un point de vue unique et exploitable sur l'ensemble du cycle de vie agentique. La conception d'AIRI s'appuie sur le Cadre des Meilleures Pratiques d'IA Responsable d'AWS, qui guide les clients dans l'intégration des considérations d'IA responsable tout au long du cycle de vie de l'IA, permettant des décisions de conception éclairées et accélérant le déploiement de systèmes d'IA fiables. Cette solution fait fondamentalement passer la gouvernance d'un processus réactif et manuel à un processus proactif, automatisé et continu.

Ce qui rend AIRI particulièrement puissante, c'est sa nature agnostique aux cadres. Elle ne code pas en dur des règles pour des menaces spécifiques, mais s'étalonne par rapport à un large éventail de normes de gouvernance, y compris le Cadre de Gestion des Risques de l'IA du NIST, les normes ISO et l'OWASP. Cela signifie que le même moteur qui évalue les contrôles de sécurité OWASP peut également évaluer les politiques de transparence internes d'une organisation ou les exigences de conformité spécifiques à l'industrie. Cette adaptabilité garantit qu'AIRI reste pertinente à travers diverses architectures d'agents, industries et profils de risque évolutifs, raisonnant sur des preuves comme un auditeur continu et évolutif. Elle transforme les exigences de cadre abstraites en évaluations concrètes et exploitables intégrées tout au long du cycle de vie agentique, de la conception à la post-production.

AIRI en Action : Opérationnalisation de la Gouvernance Automatisée

Reprenons notre exemple d'assistant IA pour illustrer comment AIRI opérationnalise la gouvernance automatisée. Imaginez qu'une équipe de développement ait créé une preuve de concept (POC) pour cet assistant IA. Avant le déploiement en production, elle utilise AIRI. Pour établir une évaluation fondamentale, la capacité d'examen automatisé de la documentation technique d'AIRI est sollicitée. Ce processus recueille automatiquement des preuves de la mise en œuvre des contrôles, évaluant non seulement la sécurité, mais aussi des contrôles de qualité opérationnels critiques tels que la transparence, la contrôlabilité, l'explicabilité, la sûreté et la robustesse. L'analyse couvre la conception du cas d'utilisation, son infrastructure sous-jacente et les politiques organisationnelles pertinentes pour garantir l'alignement avec la gouvernance d'entreprise et les exigences de conformité.

Voici un exemple des types de contrôles qu'AIRI pourrait évaluer pendant cette phase :

Catégorie de Contrôle	Description	Focus de l'Évaluation AIRI
Sécurité	Chiffrement des données, contrôle d'accès, gestion des vulnérabilités	Vérification de la manipulation des données, de l'accès aux outils et des vecteurs d'exploitation potentiels.
Opérations	Surveillance, journalisation, réponse aux incidents	Évaluation de l'observabilité du système et des capacités de réaction.
Transparence	Lignage du modèle, sources de données, processus de prise de décision	Clarté du fonctionnement interne de l'IA et de la provenance des données.
Contrôlabilité	Mécanismes de supervision humaine, points d'intervention, arrêt d'urgence	Efficacité des protocoles homme-dans-la-boucle et de sécurité intégrée.
Explicabilité	Raisonnement des actions de l'agent, interprétabilité des résultats	Capacité à comprendre pourquoi un agent a effectué une action spécifique.
Sûreté	Détection des biais, directives éthiques, métriques d'équité	Adhésion aux principes d'IA responsable et atténuation des outputs nuisibles.
Robustesse	Résilience aux attaques adversaires, gestion des erreurs, fiabilité	Capacité du système à maintenir ses performances sous contrainte et face à la manipulation.
Conformité	Adhésion réglementaire, normes de l'industrie, politiques organisationnelles	Alignement avec les mandats légaux et les cadres de gouvernance internes.

Pour chaque dimension de contrôle, AIRI exécute une boucle de raisonnement. Premièrement, elle extrait des critères d'évaluation spécifiques du cadre de gouvernance applicable. Ensuite, elle extrait des preuves directement des artefacts du système, y compris les documents d'architecture, les configurations d'agents et les politiques organisationnelles. Enfin, elle raisonne sur l'alignement entre les exigences du cadre et les preuves démontrées par le système, déterminant l'efficacité de la mise en œuvre du contrôle. Cette approche basée sur le raisonnement permet à AIRI de s'adapter aux nouvelles conceptions d'agents, aux cadres évolutifs et aux catégories de risques émergentes sans nécessiter de réingénierie de sa logique de base.

Pour renforcer la fiabilité de ces jugements, AIRI emploie une technique appelée entropie sémantique. Elle répète chaque évaluation plusieurs fois et mesure la cohérence de ses conclusions. Si les outputs varient significativement entre les exécutions, cela signale que les preuves pourraient être ambiguës ou insuffisantes. Dans de tels cas, AIRI déclenche intelligemment une révision humaine, évitant les jugements automatisés potentiellement peu fiables et garantissant un processus de gouvernance robuste. Cette approche innovante comble efficacement le fossé entre les exigences de cadre abstraites et le comportement concret des agents, transformant l'intention de gouvernance en une évaluation structurée, répétable et évolutive à travers des systèmes agentiques complexes.

Conclusion : Sécuriser l'Avenir de l'IA Agentique

L'avènement de l'IA agentique marque un changement fondamental dans la manière dont les organisations doivent aborder le déploiement et la gouvernance de l'IA. L'ère des systèmes prévisibles et statiques est révolue, remplacée par des agents dynamiques et non déterministes qui exigent un nouveau niveau de sophistication dans la gestion des risques. Les modèles de gouvernance traditionnels sont tout simplement insuffisants pour suivre le rythme et la complexité de ces avancées de l'IA. L'Intelligence des Risques de l'IA (AIRI) d'AWS fournit une solution critique, offrant un cadre automatisé, complet et adaptatif pour sécuriser et gouverner les systèmes agentiques. En intégrant la sécurité, les opérations et la gouvernance dans un point de vue unique et continu, AIRI permet aux organisations de poursuivre leurs ambitions en matière d'IA en toute confiance tout en respectant les principes d'IA responsable et en garantissant la conformité. À mesure que les organisations continuent d'opérationnaliser l'IA agentique, des solutions comme AIRI seront indispensables pour transformer les risques potentiels en opportunités d'innovation et de croissance.