What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

AI治理：智能体系统的风险智能

title: "AI治理：智能体系统的风险智能" slug: "can-your-governance-keep-pace-with-your-ai-ambitions-ai-risk-intelligence-in-the-agentic-era" date: "2026-04-01" lang: "zh" source: "https://aws.amazon.com/blogs/machine-learning/can-your-governance-keep-pace-with-with-your-ai-ambitions-ai-risk-intelligence-in-the-agentic-era/" category: "企业AI" keywords:

AI治理
智能体AI
AI风险智能
AWS
企业AI
AI安全
负责任的AI
AI合规性
风险管理
自动化治理
生成式AI
AI安全 meta_description: "探索AWS的AI风险智能（AIRI）如何彻底改变智能体系统的AI治理，确保非确定性AI时代的安全与合规性。" image: "/images/articles/can-your-governance-keep-pace-with-your-ai-ambitions-ai-risk-intelligence-in-the-agentic-era.png" image_alt: "AI风险智能仪表板，显示智能体系统运行状况的全面概览。" quality_score: 94 content_score: 93 seo_score: 95 companies:
AWS schema_type: "NewsArticle" reading_time: 5 faq:
question: "什么是智能体AI？它为何带来新的治理挑战？" answer: "智能体AI指的是以非确定性方式运行的人工智能系统，这意味着它们不遵循固定的、可预测的模式。相反，它们在工作中自主适应、推理和行动，选择不同的工具和方法。这与传统的、静态的软件系统形成鲜明对比，后者在输入相同的情况下会 reliably 产生可预测的输出。这种非确定性性质对旨在处理可预测部署的传统治理框架构成了挑战，因为它在安全性、合规性和可观测性方面带来了复杂性。智能体AI可能导致不一致的安全态势和合规性漏洞，因为其行为，即使是恶意的，也可能发生在合法授权的权限范围内，使得标准工具难以检测。"
question: "什么是AI风险智能（AIRI）？由谁开发？" answer: "AI风险智能（AIRI）是由AWS生成式AI创新中心开发的企业级自动化治理解决方案。它旨在解决智能体AI系统带来的独特治理挑战。AIRI自动化评估安全、运营和治理控制，将它们整合到整个智能体生命周期中单一、持续的视角中。其开发遵循AWS负责任的AI最佳实践框架，旨在通过将负责任的AI考量从设计到后期生产的整个过程整合起来，帮助组织部署可信赖的AI系统。"
question: "AIRI如何解决智能体系统中的“工具滥用和利用”问题？" answer: "AIRI通过提供持续的自动化治理来解决“工具滥用和利用”（OWASP针对智能体应用的十大风险之一）问题，该治理机制根据智能体的预期范围评估其行为。与可能在授权权限内遗漏异常情况的传统数据防泄漏或网络监控工具不同，AIRI将安全性直接集成到智能体的运作方式中。它根据证据进行推理，判断智能体对工具（例如电子邮件或日历访问）的使用是否符合既定的治理标准，即使这些行为在技术上属于已授予的权限。这允许早期检测可能导致数据泄露或其他违规的潜在恶意或无意工具滥用。"
question: "AIRI可以运行哪些治理框架？" answer: "AIRI是框架无关的，这意味着它可以运行广泛的治理标准，而不是局限于特定规则集。它将NIST AI风险管理框架、ISO标准和OWASP指南等框架从静态参考文档转化为自动化、持续的评估。这种适应性使AIRI能够根据组织的特定治理标准进行校准，包括内部透明度政策和行业特定合规性要求，使其适用于不同的智能体架构、行业和风险配置文件，而无需为每个新上下文重新设计。"
question: "AIRI如何在评估过程中利用“语义熵”？" answer: "AIRI利用“语义熵”作为一种技术，以增强其自动化治理判断的可靠性。在执行控制评估后，AIRI会重复评估多次。然后，语义熵测量这些重复运行中得出的结论的一致性。如果输出或判断差异显著，则表明基础证据可能模糊或不足以进行明确的自动化判断。在这种情况下，AIRI会智能地触发人工审查，防止可能不可靠的自动化判断，并确保复杂或不明确的情况能够获得必要的人工监督和专业知识。"
question: "为企业AI部署实施AIRI有哪些主要益处？" answer: "为企业AI部署实施AIRI可带来多项主要益处。它使组织从被动、手动治理转向主动、自动化和持续的智能体系统监督。益处包括在复杂的智能体工作流中实现一致的安全态势，通过针对各种标准（NIST、ISO、OWASP）的持续评估弥补合规性差距，以及增强业务利益相关者对智能体行为和风险的可见性。通过自动化评估安全、运营和治理控制，AIRI使组织能够自信地扩展其AI雄心，减少手动审计工作，并通过在整个生命周期中嵌入负责任的AI原则来建立对其AI系统的信任。"

智能体AI时代：重塑企业AI治理

AI格局正在迅速演变， ushering in 一个“智能体时代”，AI系统以史无前例的自主性运行。可预测的、二元的DevOps时代已一去不复返；智能体AI具有非确定性，能够自主适应和推理。这种范式转变对传统的IT治理框架构成了严峻挑战，因为这些框架是为静态、可预测的部署而设计的。组织正在努力应对这些复杂多系统交互中不一致的安全态势、合规性差距和不透明的可观测性指标。这种动态环境要求对安全、运营和治理采取新方法，将其视为智能体系统健康相互依存的维度。正是在这种关键需求下，**AI风险智能（AIRI）**应运而生。AIRI由AWS生成式AI创新中心开发，并建立在强大的AWS负责任的AI最佳实践框架之上，它是一种企业级自动化治理解决方案，旨在为智能体时代带来清晰性和控制力。

智能体AI的不可预测性和级联风险

智能体AI的核心特征是非确定性行为。与传统软件不同，对智能体提出两次相同的问题可能会得到不同的答案，因为智能体是独立选择工具和方法，而不是遵循固定的工作流程。这种流动性意味着质量存在一个梯度，从完美到虚构，而不是简单的通过或失败。因此，可预测的依赖关系和流程已被自主适应、推理和行动的自主系统所取代。

为静态部署构建的传统IT治理无法有效管理这些复杂的多系统交互。这造成了严重的盲点。例如，开放全球应用安全项目（OWASP）将“工具滥用和利用”确定为智能体应用的主要风险。考虑一个场景：一个企业AI助手，被合法配置为可以访问电子邮件、日历和CRM，但却遭到了攻击。恶意行为者在电子邮件中嵌入了隐藏指令。当用户请求一个无害的摘要时，被攻击的智能体，在其被授予的权限范围内操作，搜索敏感数据并通过日历邀请将其泄露，同时提供一个掩盖了这次泄露的无害响应。标准的数据防泄漏工具和网络监控在这种情况下会失效，因为这些行为虽然是恶意的，但发生在授权参数内，并且不一定会以传统系统能检测到的方式触发数据移动或网络异常。这突出表明，智能体系统中的安全漏洞可以同时跨越多个操作维度级联，使得传统的、孤立的治理无效。此类场景强调了从一开始就采取策略的重要性，例如设计智能体以抵抗即时注入。

引入AI风险智能（AIRI）：治理的范式转变

为了弥合静态控制与动态智能体行为之间的鸿沟，AWS开发了AI风险智能（AIRI）。AIRI将安全、运营和治理重新定义为一个相互关联的“AI风险智能”框架。它是一种企业级自动化治理解决方案，可以自动化评估安全、运营和治理控制，并将它们整合到整个智能体生命周期中的单一、可操作的视角中。AIRI的设计利用了AWS负责任的AI最佳实践框架，该框架指导客户在整个AI生命周期中整合负责任的AI考量，从而实现明智的设计决策并加速可信AI系统的部署。该解决方案从根本上将治理从被动、手动的过程转变为主动、自动化和持续的过程。

AIRI之所以特别强大，在于其框架无关的特性。它不为特定威胁硬编码规则，而是根据广泛的治理标准进行校准，包括NIST AI风险管理框架、ISO和OWASP。这意味着评估OWASP安全控制的同一引擎也可以评估组织的内部透明度政策或行业特定的合规性要求。这种适应性确保了AIRI在不同的智能体架构、行业和不断变化的风险配置文件中保持相关性，像一个持续的、可扩展的审计员一样根据证据进行推理。它将抽象的框架要求转化为具体的、可操作的评估，这些评估嵌入在整个智能体生命周期中，从设计到后期生产。

AIRI实战：自动化治理的运作

让我们重新审视AI助手示例，以说明AIRI如何实现自动化治理。假设一个开发团队已经为这个AI助手创建了一个概念验证（POC）。在部署到生产环境之前，他们会利用AIRI。为了建立一个基础评估，AIRI的自动化技术文档审查能力被启用。这个过程会自动收集控制实施的证据，不仅评估安全性，还评估关键的运营质量控制，如透明度、可控性、可解释性、安全性和鲁棒性。分析涵盖用例的设计、其底层基础设施以及相关的组织策略，以确保与企业治理和合规性要求保持一致。

以下是AIRI在此阶段可能评估的控制类型示例：

控制类别	描述	AIRI评估重点
安全性	数据加密、访问控制、漏洞管理	验证数据处理、工具访问和潜在的漏洞利用途径。
运营	监控、日志记录、事件响应	评估系统可观测性和响应能力。
透明度	模型血缘、数据源、决策过程	AI内部工作原理和数据溯源的清晰度。
可控性	人工监督机制、干预点、紧急停止	人工干预和故障安全协议的有效性。
可解释性	智能体行动的理由、结果的可解释性	理解智能体采取特定行动的原因的能力。
安全性	偏差检测、道德准则、公平性指标	遵守负责任的AI原则并减轻有害输出。
鲁棒性	对抗性攻击的弹性、错误处理、可靠性	系统在压力下和对抗性操作中保持性能的能力。
合规性	法规遵从、行业标准、组织政策	与法律规定和内部治理框架保持一致。

对于每个控制维度，AIRI都会执行一个推理循环。首先，它从适用的治理框架中提取特定的评估标准。接下来，它直接从系统的工件（包括架构文档、智能体配置和组织策略）中提取证据。最后，它根据框架要求与系统展示的证据之间的一致性进行推理，从而确定控制实施的有效性。这种基于推理的方法允许AIRI适应新的智能体设计、不断演变的框架和新兴的风险类别，而无需重新设计其核心逻辑。

为了提高这些判断的可靠性，AIRI采用了一种称为语义熵的技术。它重复每次评估多次，并测量其结论的一致性。如果输出在多次运行中差异显著，则表明证据可能模糊或不足。在这种情况下，AIRI会智能地触发人工审查，防止可能不可靠的自动化判断，并确保稳健的治理流程。这种创新方法有效地弥合了抽象框架要求与具体智能体行为之间的差距，将治理意图转化为跨复杂智能体系统的结构化、可重复和可扩展的评估。

结论：确保智能体AI的未来

智能体AI的兴起标志着组织在AI部署和治理方式上发生了根本性转变。可预测、静态系统的时代已经结束，取而代之的是动态、非确定性的智能体，它们需要更高水平的风险管理复杂性。传统的治理模型根本不足以跟上这些AI进步的速度和复杂性。AWS的AI风险智能（AIRI）提供了一个关键解决方案，为智能体系统的安全和治理提供了自动化、全面和自适应的框架。通过将安全、运营和治理整合到单一、持续的视角中，AIRI使组织能够自信地追求其AI雄心，同时坚持负责任的AI原则并确保合规性。随着组织继续实现智能体AI的运营化，像AIRI这样的解决方案将在将潜在风险转化为创新和增长机会方面发挥不可或缺的作用。