What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

AIガバナンス: エージェンティックシステムのためのリスクインテリジェンス

エージェンティックAI時代：エンタープライズAIガバナンスの再構築

AIの状況は急速に進化しており、AIシステムが前例のない自律性で動作する「エージェンティック時代」が到来しています。予測可能でバイナリなDevOpsの時代は終わりを告げました。エージェンティックAIは非決定性であり、独立して適応し、推論します。このパラダイムシフトは、静的で予測可能なデプロイメントのために設計された従来のITガバナンスフレームワークに深刻な課題を突きつけます。組織は、これらの複雑なマルチシステム相互作用に対して、一貫性のないセキュリティ体制、コンプライアンスのギャップ、そして不透明な可観測性指標に苦慮しています。この動的な環境では、エージェンティックシステムの健全性の相互依存的な側面と見なされるセキュリティ、運用、ガバナンスへの新しいアプローチが必要です。**AIリスクインテリジェンス（AIRI）**は、この重要なニーズから生まれました。AWS生成AIイノベーションセンターによって開発され、堅牢なAWS責任あるAIベストプラクティスフレームワークに基づいて構築されたAIRIは、エージェンティック時代に明確さと制御をもたらすように設計されたエンタープライズグレードの自動ガバナンスソリューションです。

エージェンティックAIの予測不可能な性質と連鎖的なリスク

エージェンティックAIの核心的な特徴は、その非決定的な動作です。従来のソフトウェアとは異なり、エージェントに同じ質問を2度尋ねても異なる回答が得られることがあります。なぜなら、エージェントは厳密なワークフローに従うのではなく、独自にツールやアプローチを選択するからです。この流動性は、品質が単純な合否ではなく、完璧から捏造までグラデーションで存在するということ意味します。結果として、予測可能な依存関係とプロセスは、適応、推論、そして独立して行動する自律的なシステムに取って代わられました。

静的なデプロイメントのために構築された従来のITガバナンスは、これらの複雑なマルチシステム相互作用を効果的に管理できません。これにより、重大な盲点が生じます。例えば、Open Worldwide Application Security Project（OWASP）は、「ツール誤用と悪用」をエージェンティックアプリケーションに対するトップリスクとして特定しています。電子メール、カレンダー、CRMへのアクセスを正当に構成されたエンタープライズAIアシスタントが侵害されるシナリオを考えてみましょう。悪意のあるアクターが電子メールに隠された指示を埋め込みます。ユーザーが無害な要約を要求すると、侵害されたエージェントは、付与された権限内で動作しながら、機密データを検索し、カレンダー招待を介してそれを漏洩させます。この間、違反を隠す無害な応答を提供します。従来のデータ損失防止ツールやネットワーク監視は、これらのアクションが悪意のあるものであっても、認可されたパラメータ内で発生し、従来のシステムが検出する方法でデータ移動やネットワーク異常を必ずしもトリガーしないため、ここでは機能しません。これは、エージェンティックシステムにおけるセキュリティの脆弱性が、複数の運用次元に同時に連鎖的に影響を及ぼし、従来のサイロ化されたガバナンスが無効になることを浮き彫りにしています。このようなシナリオは、最初からプロンプトインジェクションに耐性のあるエージェントを設計するといった戦略の重要性を強調しています。

AIリスクインテリジェンス（AIRI）の紹介：ガバナンスのパラダイムシフト

静的制御と動的なエージェンティック動作との間のギャップを埋めるため、AWSはAIリスクインテリジェンス（AIRI）を開発しました。AIRIは、セキュリティ、運用、ガバナンスを相互接続された「AIリスクインテリジェンス」フレームワークとして再定義します。これは、セキュリティ、運用、ガバナンスの制御評価を自動化し、エージェンティックライフサイクル全体にわたって単一の実行可能な視点に統合する、エンタープライズグレードの自動ガバナンスソリューションです。AIRIの設計は、AWS責任あるAIベストプラクティスフレームワークを活用しており、顧客がAIライフサイクル全体で責任あるAIの考慮事項を統合し、情報に基づいた設計決定を可能にし、信頼できるAIシステムの展開を加速するように導きます。このソリューションは、ガバナンスを受動的で手動のプロセスから、プロアクティブで自動化された継続的なプロセスへと根本的に移行させます。

AIRIを特に強力にしているのは、そのフレームワークに依存しない性質です。特定の脅威に対してルールをハードコードするのではなく、NIST AIリスク管理フレームワーク、ISO、OWASPなど、幅広いガバナンス標準に対してキャリブレーションを行います。これは、OWASPセキュリティ制御を評価するのと同じエンジンが、組織の内部透明性ポリシーや業界固有のコンプライアンス要件も評価できることを意味します。この適応性により、AIRIは、継続的でスケーラブルな監査人のように証拠を推論し、多様なエージェントアーキテクチャ、業界、および進化するリスクプロファイル全体で関連性を維持します。抽象的なフレームワーク要件を、設計から運用後まで、エージェンティックライフサイクル全体に埋め込まれた具体的な実行可能な評価に変換します。

AIRIの動作：自動化されたガバナンスの運用化

AIRIが自動ガバナンスをどのように運用化するかを示すために、AIアシスタントの例をもう一度見てみましょう。開発チームがこのAIアシスタントの概念実証（POC）を作成したと想像してください。本番環境にデプロイする前に、彼らはAIRIを利用します。基礎的な評価を確立するために、AIRIの自動技術文書レビュー機能が使用されます。このプロセスは、制御の実装に関する証拠を自動的に収集し、セキュリティだけでなく、透明性、制御可能性、説明可能性、安全性、堅牢性などの重要な運用品質制御も評価します。分析は、ユースケースの設計、その基盤となるインフラストラクチャ、および関連する組織ポリシーにわたって行われ、エンタープライズガバナンスとコンプライアンス要件との整合性を確保します。

このフェーズでAIRIが評価する可能性のある制御タイプの例を以下に示します。

制御カテゴリ	説明	AIRI評価の焦点
セキュリティ	データ暗号化、アクセス制御、脆弱性管理	データ処理、ツールアクセス、および潜在的な悪用ベクトルの検証。
運用	監視、ログ記録、インシデント対応	システムの可観測性と対応能力の評価。
透明性	モデルの系統、データソース、意思決定プロセス	AIの内部動作とデータ来歴の明確さ。
制御可能性	人間による監視メカニズム、介入ポイント、緊急停止	ヒューマン・イン・ザ・ループおよびフェイルセーフプロトコルの有効性。
説明可能性	エージェントの行動の根拠、結果の解釈可能性	エージェントが特定の行動をとった「理由」を理解する能力。
安全性	バイアス検出、倫理ガイドライン、公平性メトリック	責任あるAIの原則への遵守と有害な出力の軽減。
堅牢性	敵対的攻撃への耐性、エラー処理、信頼性	ストレス下や操作に対してパフォーマンスを維持するシステムの能力。
コンプライアンス	規制遵守、業界標準、組織ポリシー	法的義務と内部ガバナンスフレームワークとの整合性。

各制御次元について、AIRIは推論ループを実行します。まず、適用されるガバナンスフレームワークから特定の評価基準を抽出します。次に、アーキテクチャドキュメント、エージェント構成、組織ポリシーなど、システム成果物から直接証拠をプルします。最後に、フレームワークの要件とシステムが示した証拠との整合性を推論し、制御の実装の有効性を判断します。この推論ベースのアプローチにより、AIRIは、コアロジックの再設計を必要とせずに、新しいエージェント設計、進化するフレームワーク、および新たなリスクカテゴリに適応できます。

これらの判断の信頼性を高めるために、AIRIは意味的エントロピーと呼ばれる手法を採用しています。各評価を複数回繰り返し、その結論の一貫性を測定します。複数の実行間で出力が大幅に異なる場合、それは証拠が曖昧であるか不十分である可能性があることを示します。このような場合、AIRIはインテリジェントに人間によるレビューをトリガーし、信頼性の低い自動判断を防ぎ、堅牢なガバナンスプロセスを確実にします。この革新的なアプローチは、抽象的なフレームワーク要件と具体的なエージェントの行動との間のギャップを効果的に埋め、ガバナンスの意図を複雑なエージェンティックシステム全体で構造化され、繰り返し可能で、スケーラブルな評価へと変換します。

結論：エージェンティックAIの未来を確保する

エージェンティックAIの台頭は、組織がAIの展開とガバナンスにアプローチする方法における根本的な変化を示しています。予測可能で静的なシステムの時代は終わり、リスク管理において新しいレベルの洗練を必要とする動的で非決定的なエージェントに置き換えられました。従来のガバナンスモデルは、これらのAIの進歩の速度と複雑さに対応するには単純に不十分です。AWSのAIリスクインテリジェンス（AIRI）は、エージェンティックシステムのセキュリティとガバナンスのための自動化された、包括的で適応性のあるフレームワークを提供し、重要なソリューションを提供します。セキュリティ、運用、ガバナンスを単一の継続的な視点に統合することにより、AIRIは、組織が責任あるAIの原則を維持し、コンプライアンスを確保しながら、自信を持ってAIの目標を追求できるようにします。組織がエージェンティックAIを運用化することを続けるにつれて、AIRIのようなソリューションは、潜在的なリスクをイノベーションと成長の機会に変える上で不可欠となるでしょう。