What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

Gobernanza de la IA: Inteligencia de Riesgos para Sistemas Agentes

La Era de la IA Agéntica: Reconfigurando la Gobernanza de la IA Empresarial

El panorama de la IA está evolucionando rápidamente, dando paso a una "era agéntica" donde los sistemas de IA operan con una autonomía sin precedentes. Atrás quedaron los días de DevOps predecibles y binarios; la IA agéntica es no determinista, adaptándose y razonando de forma independiente. Este cambio de paradigma presenta un desafío profundo para los marcos de gobernanza de TI tradicionales, que fueron diseñados para implementaciones estáticas y predecibles. Las organizaciones se enfrentan a posturas de seguridad inconsistentes, lagunas de cumplimiento y métricas de observabilidad opacas para estas complejas interacciones multisistema. Este entorno dinámico requiere un nuevo enfoque para la seguridad, las operaciones y la gobernanza, vistas como dimensiones interdependientes de la salud del sistema agéntico. Es de esta necesidad crítica que emerge la Inteligencia de Riesgos de IA (AIRI). Desarrollada por el Centro de Innovación de IA Generativa de AWS y construida sobre el sólido Marco de Mejores Prácticas de IA Responsable de AWS, AIRI es una solución de gobernanza automatizada de nivel empresarial diseñada para aportar claridad y control a la era agéntica.

La Naturaleza Impredecible de la IA Agéntica y los Riesgos en Cascada

La característica central de la IA agéntica es su comportamiento no determinista. A diferencia del software tradicional, hacer la misma pregunta a un agente dos veces puede generar respuestas diferentes, ya que los agentes seleccionan de forma independiente herramientas y enfoques en lugar de seguir flujos de trabajo rígidos. Esta fluidez significa que la calidad existe en un gradiente, de perfecto a fabricado, en lugar de un simple aprobado-reprobado. En consecuencia, las dependencias y procesos predecibles han dado paso a sistemas autónomos que se adaptan, razonan y actúan de forma independiente.

La gobernanza de TI tradicional, construida para implementaciones estáticas, no puede gestionar eficazmente estas complejas interacciones multisistema. Esto crea importantes puntos ciegos. Por ejemplo, el Open Worldwide Application Security Project (OWASP) identifica el 'Mal uso y explotación de herramientas' como un riesgo principal para las aplicaciones agénticas. Considere un escenario en el que un asistente de IA empresarial, legítimamente configurado con acceso a correo electrónico, calendario y CRM, es comprometido. Un actor malicioso incrusta instrucciones ocultas dentro de un correo electrónico. Cuando un usuario solicita un resumen inocente, el agente comprometido, operando dentro de sus permisos concedidos, busca datos sensibles y los exfiltra a través de invitaciones de calendario, todo mientras proporciona una respuesta benigna que enmascara la violación. Las herramientas estándar de prevención de pérdida de datos y el monitoreo de red fallan aquí porque las acciones, aunque maliciosas, ocurren dentro de parámetros autorizados y no necesariamente desencadenan movimiento de datos o anomalías de red de maneras que los sistemas tradicionales detectarían. Esto resalta cómo las vulnerabilidades de seguridad en los sistemas agénticos pueden propagarse a través de múltiples dimensiones operativas simultáneamente, haciendo que la gobernanza tradicional y aislada sea ineficaz. Tales escenarios subrayan la importancia de estrategias como diseñar agentes para resistir la inyección de prompts desde el principio.

Presentamos la Inteligencia de Riesgos de IA (AIRI): Un Cambio de Paradigma en la Gobernanza

Para cerrar la brecha entre los controles estáticos y los comportamientos agénticos dinámicos, AWS desarrolló la Inteligencia de Riesgos de IA (AIRI). AIRI redefine la seguridad, las operaciones y la gobernanza como un marco interconectado de 'Inteligencia de Riesgos de IA'. Es una solución de gobernanza automatizada de nivel empresarial que automatiza la evaluación de los controles de seguridad, operaciones y gobernanza, consolidándolos en un único punto de vista accionable a lo largo de todo el ciclo de vida agéntico. El diseño de AIRI aprovecha el Marco de Mejores Prácticas de IA Responsable de AWS, que guía a los clientes en la integración de consideraciones de IA responsable a lo largo de todo el ciclo de vida de la IA, permitiendo decisiones de diseño informadas y acelerando la implementación de sistemas de IA confiables. Esta solución transforma fundamentalmente la gobernanza de un proceso reactivo y manual a uno proactivo, automatizado y continuo.

Lo que hace a AIRI particularmente potente es su naturaleza agnóstica a los marcos. No codifica reglas para amenazas específicas, sino que se calibra contra una amplia gama de estándares de gobernanza, incluyendo el Marco de Gestión de Riesgos de IA de NIST, ISO y OWASP. Esto significa que el mismo motor que evalúa los controles de seguridad de OWASP también puede evaluar las políticas internas de transparencia de una organización o los requisitos de cumplimiento específicos de la industria. Esta adaptabilidad asegura que AIRI siga siendo relevante en diversas arquitecturas de agentes, industrias y perfiles de riesgo en evolución, razonando sobre la evidencia como un auditor continuo y escalable. Transforma los requisitos abstractos del marco en evaluaciones concretas y accionables integradas en todo el ciclo de vida agéntico, desde el diseño hasta la postproducción.

AIRI en Acción: Operacionalizando la Gobernanza Automatizada

Retomemos nuestro ejemplo del asistente de IA para ilustrar cómo AIRI operacionaliza la gobernanza automatizada. Imagine que un equipo de desarrollo ha creado una Prueba de Concepto (POC) para este asistente de IA. Antes de desplegarlo en producción, utilizan AIRI. Para establecer una evaluación fundamental, se activa la capacidad de revisión automatizada de la documentación técnica de AIRI. Este proceso recopila automáticamente evidencia de las implementaciones de control, evaluando no solo la seguridad sino también controles críticos de calidad operativa como la transparencia, la controlabilidad, la explicabilidad, la seguridad y la robustez. El análisis abarca el diseño del caso de uso, su infraestructura subyacente y las políticas organizativas relevantes para asegurar la alineación con la gobernanza empresarial y los requisitos de cumplimiento.

Aquí hay un ejemplo de los tipos de controles que AIRI podría evaluar durante esta fase:

Categoría de Control	Descripción	Enfoque de Evaluación de AIRI
Seguridad	Cifrado de datos, control de acceso, gestión de vulnerabilidades	Verificación del manejo de datos, acceso a herramientas y posibles vectores de explotación.
Operaciones	Monitoreo, registro, respuesta a incidentes	Evaluación de la observabilidad del sistema y capacidades de reacción.
Transparencia	Linaje del modelo, fuentes de datos, proceso de toma de decisiones	Claridad del funcionamiento interno de la IA y procedencia de los datos.
Controlabilidad	Mecanismos de supervisión humana, puntos de intervención, parada de emergencia	Eficacia de los protocolos de intervención humana y de seguridad.
Explicabilidad	Justificación de las acciones del agente, interpretabilidad de los resultados	Capacidad para entender por qué un agente realizó una acción específica.
Seguridad	Detección de sesgos, directrices éticas, métricas de equidad	Adherencia a los principios de IA responsable y mitigación de resultados perjudiciales.
Robustez	Resiliencia a ataques adversarios, manejo de errores, fiabilidad	Capacidad del sistema para mantener el rendimiento bajo estrés y contra la manipulación.
Cumplimiento	Cumplimiento normativo, estándares de la industria, políticas organizacionales	Alineación con mandatos legales y marcos de gobernanza interna.

Para cada dimensión de control, AIRI ejecuta un ciclo de razonamiento. Primero, extrae criterios de evaluación específicos del marco de gobernanza aplicable. A continuación, extrae pruebas directamente de los artefactos del sistema, incluidos documentos de arquitectura, configuraciones de agentes y políticas organizacionales. Finalmente, razona sobre la alineación entre los requisitos del marco y la evidencia demostrada por el sistema, determinando la efectividad de la implementación del control. Este enfoque basado en el razonamiento permite a AIRI adaptarse a nuevos diseños de agentes, marcos en evolución y categorías de riesgo emergentes sin requerir una reingeniería de su lógica central.

Para mejorar la fiabilidad de estos juicios, AIRI emplea una técnica llamada entropía semántica. Repite cada evaluación varias veces y mide la consistencia de sus conclusiones. Si los resultados varían significativamente entre las ejecuciones, indica que la evidencia podría ser ambigua o insuficiente. En tales casos, AIRI activa de forma inteligente una revisión humana, evitando juicios automatizados potencialmente poco fiables y asegurando un proceso de gobernanza robusto. Este enfoque innovador cierra eficazmente la brecha entre los requisitos abstractos del marco y el comportamiento concreto del agente, transformando la intención de gobernanza en una evaluación estructurada, repetible y escalable en sistemas agénticos complejos.

Conclusión: Asegurando el Futuro de la IA Agéntica

El auge de la IA agéntica marca un cambio fundamental en cómo las organizaciones deben abordar la implementación y gobernanza de la IA. La era de los sistemas predecibles y estáticos ha terminado, reemplazada por agentes dinámicos y no deterministas que requieren un nuevo nivel de sofisticación en la gestión de riesgos. Los modelos de gobernanza tradicionales son simplemente insuficientes para seguir el ritmo de la velocidad y complejidad de estos avances de la IA. La Inteligencia de Riesgos de IA (AIRI) de AWS proporciona una solución crítica, ofreciendo un marco automatizado, integral y adaptable para asegurar y gobernar sistemas agénticos. Al integrar la seguridad, las operaciones y la gobernanza en un único punto de vista continuo, AIRI empodera a las organizaciones para perseguir con confianza sus ambiciones de IA mientras defienden los principios de IA responsable y garantizan el cumplimiento. A medida que las organizaciones continúan operacionalizando la IA agéntica, soluciones como AIRI serán indispensables para transformar los riesgos potenciales en oportunidades de innovación y crecimiento.