What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

Govern de la IA: Intel·ligència de Risc per a Sistemes Agentics

L'Era de la IA Agèntica: Remodelant el Govern de la IA Empresarial

El panorama de la IA està evolucionant ràpidament, marcant l'inici d'una "era agèntica" on els sistemes de IA operen amb una autonomia sense precedents. Enrere queden els dies del DevOps predictible i binari; la IA agèntica és no determinista, adaptant-se i raonant de manera independent. Aquest canvi de paradigma planteja un repte profund als marcs de govern de TI tradicionals, que van ser dissenyats per a desplegaments estàtics i predictibles. Les organitzacions estan lluitant amb postures de seguretat inconsistents, llacunes de compliment i mètriques d'observabilitat opaques per a aquestes complexes interaccions multisistema. Aquest entorn dinàmic necessita un nou enfocament de la seguretat, les operacions i el govern, vistos com a dimensions interdependents de la salut del sistema agèntic. És d'aquesta necessitat crítica que sorgeix la Intel·ligència de Risc de la IA (AIRI). Desenvolupada per l'AWS Generative AI Innovation Center i construïda sobre el robust Marc de Bones Pràctiques de IA Responsable d'AWS, AIRI és una solució de govern automatitzada de grau empresarial dissenyada per aportar claredat i control a l'era agèntica.

La Naturalesa Impredictible de la IA Agèntica i els Riscos en Cascada

La característica principal de la IA agèntica és el seu comportament no determinista. A diferència del programari tradicional, preguntar dues vegades el mateix a un agent pot produir respostes diferents, ja que els agents seleccionen independentment les eines i els enfocaments en lloc de seguir fluxos de treball rígids. Aquesta fluïdesa significa que la qualitat existeix en un gradient, des de la perfecció fins a la fabricació, en lloc d'un simple aprovat-suspès. En conseqüència, les dependències i processos predictibles han donat pas a sistemes autònoms que s'adapten, raonen i actuen de manera independent.

El govern de TI tradicional, construït per a desplegaments estàtics, no pot gestionar de manera efectiva aquestes complexes interaccions multisistema. Això crea punts cecs significatius. Per exemple, l'Open Worldwide Application Security Project (OWASP) identifica el "Mal ús i explotació d'eines" com un dels principals riscos per a les aplicacions agèntiques. Considereu un escenari on un assistent de IA empresarial, configurat legítimament amb accés a correu electrònic, calendari i CRM, és compromès. Un actor maliciós incrusta instruccions ocultes dins d'un correu electrònic. Quan un usuari sol·licita un resum innocent, l'agent compromès, operant dins dels seus permisos concedits, cerca dades sensibles i les exfiltra mitjançant invitacions de calendari, tot alhora que proporciona una resposta benigna que emmascara la bretxa. Les eines estàndard de prevenció de pèrdua de dades i la monitorització de xarxes fallen aquí perquè les accions, encara que malicioses, es produeixen dins de paràmetres autoritzats i no necessàriament desencadenen moviments de dades o anomalies de xarxa de la manera que els sistemes tradicionals detectarien. Això posa de manifest com les vulnerabilitats de seguretat en sistemes agèntics poden cascada a través de múltiples dimensions operatives simultàniament, fent ineficaç el govern tradicional i aïllat. Aquests escenaris subratllen la importància d'estratègies com ara dissenyar agents per resistir la injecció de prompt des del principi.

Presentació de la Intel·ligència de Risc de la IA (AIRI): Un Canvi de Paradigma en el Govern

Per tal de reduir la bretxa entre els controls estàtics i els comportaments agèntics dinàmics, AWS va desenvolupar la Intel·ligència de Risc de la IA (AIRI). AIRI redefineix la seguretat, les operacions i el govern com un marc interconnectat d'"Intel·ligència de Risc de la IA". És una solució de govern automatitzada de grau empresarial que automatitza l'avaluació dels controls de seguretat, operacions i govern, consolidant-los en un únic punt de vista accionable a tot el cicle de vida agèntic. El disseny d'AIRI aprofita el Marc de Bones Pràctiques de IA Responsable d'AWS, que guia els clients a integrar les consideracions de IA responsable al llarg del cicle de vida de la IA, permetent decisions de disseny informades i accelerant el desplegament de sistemes de IA de confiança. Aquesta solució transforma fonamentalment el govern d'un procés reactiu i manual a un de proactiu, automatitzat i continu.

El que fa que AIRI sigui particularment potent és la seva naturalesa independent del marc. No codifica rígidament regles per a amenaces específiques, sinó que es calibra segons una àmplia gamma d'estàndards de govern, inclosos el Marc de Gestió de Risc de la IA del NIST, ISO i OWASP. Això significa que el mateix motor que avalua els controls de seguretat d'OWASP també pot avaluar les polítiques de transparència internes d'una organització o els requisits de compliment específics de la indústria. Aquesta adaptabilitat garanteix que AIRI segueixi sent rellevant en diverses arquitectures d'agents, indústries i perfils de risc en evolució, raonant sobre l'evidència com un auditor continu i escalable. Transforma els requisits abstractes del marc en avaluacions concretes i accionables incrustades a tot el cicle de vida agèntic, des del disseny fins a la postproducció.

AIRI en Acció: Operacionalitzant el Govern Automatitzat

Revisitem el nostre exemple d'assistent de IA per il·lustrar com AIRI operacionalitza el govern automatitzat. Imagineu que un equip de desenvolupament ha creat una Prova de Concepte (POC) per a aquest assistent de IA. Abans de desplegar-lo a producció, utilitzen AIRI. Per establir una avaluació fonamental, s'activa la capacitat d'AIRI de revisió automatitzada de documentació tècnica. Aquest procés recull automàticament proves de les implementacions de control, avaluant no només la seguretat sinó també controls de qualitat operatius crítics com la transparència, la controlabilitat, l'explicabilitat, la seguretat i la robustesa. L'anàlisi abasta el disseny del cas d'ús, la seva infraestructura subjacent i les polítiques organitzatives rellevants per garantir l'alineació amb el govern empresarial i els requisits de compliment.

Aquí hi ha un exemple dels tipus de controls que AIRI podria avaluar durant aquesta fase:

Categoria de Control	Descripció	Enfocament d'Avaluació d'AIRI
Seguretat	Xifrat de dades, control d'accés, gestió de vulnerabilitats	Verificació de la gestió de dades, accés a eines i possibles vectors d'explotació.
Operacions	Monitorització, registre, resposta a incidents	Avaluació de l'observabilitat del sistema i les capacitats de reacció.
Transparència	Llinatge del model, fonts de dades, procés de presa de decisions	Claredat del funcionament intern de la IA i la procedència de les dades.
Controlabilitat	Mecanismes de supervisió humana, punts d'intervenció, parada d'emergència	Eficàcia dels protocols 'human-in-the-loop' i de seguretat.
Explicabilitat	Raonament de les accions de l'agent, interpretabilitat dels resultats	Capacitat d'entendre per què un agent va realitzar una acció específica.
Seguretat	Detecció de biaixos, directrius ètiques, mètriques d'equitat	Adhesió als principis de la IA responsable i mitigació de sortides nocives.
Robustesa	Resiliència als atacs adversaris, gestió d'errors, fiabilitat	Capacitat del sistema per mantenir el rendiment sota estrès i contra la manipulació.
Compliment	Adhesió normativa, estàndards de la indústria, polítiques organitzatives	Alineació amb mandats legals i marcs de govern interns.

Per a cada dimensió de control, AIRI executa un bucle de raonament. Primer, extreu criteris d'avaluació específics del marc de govern aplicable. A continuació, extreu proves directament dels artefactes del sistema, inclosos documents d'arquitectura, configuracions d'agents i polítiques organitzatives. Finalment, raona sobre l'alineació entre els requisits del marc i les proves demostrades pel sistema, determinant l'eficàcia de la implementació del control. Aquest enfocament basat en el raonament permet a AIRI adaptar-se a nous dissenys d'agents, marcs en evolució i categories de risc emergents sense necessitat de redissenyar la seva lògica central.

Per millorar la fiabilitat d'aquests judicis, AIRI utilitza una tècnica anomenada entropia semàntica. Repeteix cada avaluació diverses vegades i mesura la consistència de les seves conclusions. Si els resultats varien significativament entre execucions, indica que l'evidència podria ser ambigua o insuficient. En aquests casos, AIRI activa intel·ligentment una revisió humana, evitant judicis automatitzats potencialment poc fiables i garantint un procés de govern robust. Aquest enfocament innovador redueix eficaçment la bretxa entre els requisits abstractes del marc i el comportament concret de l'agent, transformant la intenció de govern en una avaluació estructurada, repetible i escalable a través de sistemes agèntics complexos.

Conclusió: Assegurant el Futur de la IA Agèntica

L'ascens de la IA agèntica marca un canvi fonamental en la manera com les organitzacions han d'abordar el desplegament i el govern de la IA. L'era dels sistemes predictibles i estàtics ha acabat, reemplaçada per agents dinàmics i no deterministes que requereixen un nou nivell de sofisticació en la gestió de riscos. Els models de govern tradicionals són simplement insuficients per seguir el ritme i la complexitat d'aquests avenços de la IA. La Intel·ligència de Risc de la IA (AIRI) d'AWS proporciona una solució crítica, oferint un marc automatitzat, complet i adaptatiu per assegurar i governar els sistemes agèntics. En integrar la seguretat, les operacions i el govern en un únic punt de vista continu, AIRI permet a les organitzacions perseguir amb confiança les seves ambicions de IA alhora que mantenen els principis de la IA responsable i garanteixen el compliment. A mesura que les organitzacions continuen operacionalitzant la IA agèntica, solucions com AIRI seran indispensables per transformar els riscos potencials en oportunitats d'innovació i creixement.