What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

AI 거버넌스: 에이전트 시스템을 위한 위험 인텔리전스

에이전트 AI 시대: 기업 AI 거버넌스 재편

AI 환경은 전례 없는 자율성으로 작동하는 AI 시스템을 도입하는 '에이전트 시대'를 열며 빠르게 진화하고 있습니다. 예측 가능한 이진 DevOps 시대는 지났습니다. 에이전트 AI는 비결정론적이며, 독립적으로 적응하고 추론합니다. 이러한 패러다임 전환은 정적이고 예측 가능한 배포를 위해 설계된 기존 IT 거버넌스 프레임워크에 중대한 도전을 제기합니다. 조직은 이러한 복잡한 다중 시스템 상호작용에 대해 일관성 없는 보안 태세, 규정 준수 격차, 불투명한 관찰 가능성 지표로 어려움을 겪고 있습니다. 이 역동적인 환경에서는 에이전트 시스템 건강의 상호 의존적인 차원으로 간주되는 보안, 운영 및 거버넌스에 대한 새로운 접근 방식이 필요합니다. 바로 이러한 중요한 필요성에서 **AI 위험 인텔리전스(AIRI)**가 등장합니다. AWS 생성형 AI 혁신 센터에서 개발하고 강력한 AWS 책임감 있는 AI 모범 사례 프레임워크를 기반으로 구축된 AIRI는 에이전트 시대에 명확성과 통제력을 제공하도록 설계된 기업용 자동화된 거버넌스 솔루션입니다.

에이전트 AI의 예측 불가능한 특성과 연쇄적인 위험

에이전트 AI의 핵심 특성은 비결정론적 행동입니다. 기존 소프트웨어와 달리, 에이전트에게 같은 질문을 두 번 하면 다른 답변을 얻을 수 있습니다. 이는 에이전트가 엄격한 워크플로를 따르기보다 도구와 접근 방식을 독립적으로 선택하기 때문입니다. 이러한 유동성은 품질이 단순한 통과/실패가 아니라 완벽함에서 조작된 것에 이르기까지 점진적으로 존재함을 의미합니다. 결과적으로 예측 가능한 의존성과 프로세스는 적응하고 추론하며 독립적으로 행동하는 자율 시스템에 자리를 내주었습니다.

정적 배포를 위해 구축된 기존 IT 거버넌스는 이러한 복잡한 다중 시스템 상호작용을 효과적으로 관리할 수 없습니다. 이는 상당한 사각지대를 만듭니다. 예를 들어, OWASP(Open Worldwide Application Security Project)는 '도구 오용 및 악용'을 에이전트 애플리케이션의 주요 위험으로 식별합니다. 이메일, 캘린더, CRM에 대한 접근 권한이 합법적으로 구성된 기업 AI 비서가 손상되는 시나리오를 고려해 보세요. 악의적인 행위자가 이메일에 숨겨진 지시를 삽입합니다. 사용자가 무해한 요약을 요청할 때, 손상된 에이전트는 부여된 권한 내에서 작동하며 민감한 데이터를 검색하고 캘린더 초대장을 통해 데이터를 유출하며, 이 모든 과정에서 침해를 숨기는 온건한 응답을 제공합니다. 표준 데이터 손실 방지 도구와 네트워크 모니터링은 이러한 상황에서 실패합니다. 왜냐하면 악의적인 행위라 할지라도 승인된 매개변수 내에서 발생하며, 기존 시스템이 탐지할 방식으로 데이터 이동이나 네트워크 이상 징후를 반드시 유발하지는 않기 때문입니다. 이는 에이전트 시스템의 보안 취약점이 여러 운영 차원에 걸쳐 동시에 연쇄적으로 발생하여 기존의 사일로화된 거버넌스가 비효율적임을 보여줍니다. 이러한 시나리오는 처음부터 프롬프트 인젝션에 저항하는 에이전트 설계와 같은 전략의 중요성을 강조합니다.

AI 위험 인텔리전스(AIRI) 소개: 거버넌스의 패러다임 전환

정적 제어와 동적인 에이전트 행동 사이의 격차를 해소하기 위해 AWS는 AI 위험 인텔리전스(AIRI)를 개발했습니다. AIRI는 보안, 운영 및 거버넌스를 상호 연결된 "AI 위험 인텔리전스" 프레임워크로 재정의합니다. 이는 에이전트 수명 주기 전반에 걸쳐 보안, 운영 및 거버넌스 제어 평가를 자동화하고 단일의 실행 가능한 관점으로 통합하는 기업용 자동화된 거버넌스 솔루션입니다. AIRI의 설계는 AWS 책임감 있는 AI 모범 사례 프레임워크를 활용하여 고객이 AI 수명 주기 전반에 걸쳐 책임감 있는 AI 고려 사항을 통합하도록 안내하고, 정보에 입각한 설계 결정을 가능하게 하며, 신뢰할 수 있는 AI 시스템 배포를 가속화합니다. 이 솔루션은 거버넌스를 반응적이고 수동적인 프로세스에서 사전 예방적이고 자동화되며 지속적인 프로세스로 근본적으로 전환합니다.

AIRI를 특히 강력하게 만드는 것은 프레임워크에 구애받지 않는다는 점입니다. 특정 위협에 대한 규칙을 하드코딩하는 것이 아니라, NIST AI 위험 관리 프레임워크, ISO 및 OWASP를 포함한 광범위한 거버넌스 표준에 따라 보정됩니다. 이는 OWASP 보안 제어를 평가하는 동일한 엔진이 조직의 내부 투명성 정책 또는 산업별 규정 준수 요구 사항도 평가할 수 있음을 의미합니다. 이러한 적응성은 AIRI가 지속적이고 확장 가능한 감사자처럼 증거를 기반으로 추론하면서 다양한 에이전트 아키텍처, 산업 및 진화하는 위험 프로필에 걸쳐 관련성을 유지하도록 보장합니다. 이는 추상적인 프레임워크 요구 사항을 설계부터 사후 생산에 이르기까지 전체 에이전트 수명 주기 전반에 걸쳐 내재된 구체적이고 실행 가능한 평가로 전환합니다.

AIRI의 작동: 자동화된 거버넌스 운영화

자동화된 거버넌스가 어떻게 운영되는지 설명하기 위해 AI 비서 예시로 돌아가 봅시다. 개발팀이 이 AI 비서의 개념 증명(POC)을 만들었다고 상상해 보세요. 프로덕션에 배포하기 전에 AIRI를 활용합니다. 기초 평가를 설정하기 위해 AIRI의 자동화된 기술 문서 검토 기능이 사용됩니다. 이 프로세스는 제어 구현에 대한 증거를 자동으로 수집하며, 보안뿐만 아니라 투명성, 제어 가능성, 설명 가능성, 안전 및 견고성과 같은 중요한 운영 품질 제어도 평가합니다. 분석은 사용 사례의 설계, 기본 인프라 및 관련 조직 정책에 걸쳐 이루어져 기업 거버넌스 및 규정 준수 요구 사항과의 일치를 보장합니다.

다음은 AIRI가 이 단계에서 평가할 수 있는 제어 유형의 예시입니다.

제어 범주	설명	AIRI 평가 초점
보안	데이터 암호화, 접근 제어, 취약점 관리	데이터 처리, 도구 접근 및 잠재적 악용 벡터 확인.
운영	모니터링, 로깅, 인시던트 대응	시스템 관찰 가능성 및 반응 능력 평가.
투명성	모델 계보, 데이터 소스, 의사 결정 프로세스	AI의 내부 작동 방식 및 데이터 출처의 명확성.
제어 가능성	인간 감독 메커니즘, 개입 지점, 비상 정지	Human-in-the-loop 및 안전장치 프로토콜의 효율성.
설명 가능성	에이전트 행동의 근거, 결과의 해석 가능성	에이전트가 특정 행동을 취한 이유를 이해하는 능력.
안전	편향 탐지, 윤리적 지침, 공정성 지표	책임감 있는 AI 원칙 준수 및 유해한 결과 완화.
견고성	적대적 공격에 대한 복원력, 오류 처리, 신뢰성	스트레스 상황 및 조작에 대한 시스템 성능 유지 능력.
규정 준수	규제 준수, 산업 표준, 조직 정책	법적 의무 및 내부 거버넌스 프레임워크와의 일치.

각 제어 차원에 대해 AIRI는 추론 루프를 실행합니다. 먼저, 적용 가능한 거버넌스 프레임워크에서 특정 평가 기준을 추출합니다. 다음으로, 아키텍처 문서, 에이전트 구성 및 조직 정책을 포함하여 시스템 아티팩트에서 직접 증거를 가져옵니다. 마지막으로, 프레임워크의 요구 사항과 시스템의 입증된 증거 간의 일치를 추론하여 제어 구현의 효과를 결정합니다. 이 추론 기반 접근 방식을 통해 AIRI는 핵심 로직을 재설계할 필요 없이 새로운 에이전트 설계, 진화하는 프레임워크 및 새로운 위험 범주에 적응할 수 있습니다.

이러한 판단의 신뢰성을 높이기 위해 AIRI는 의미론적 엔트로피라는 기술을 사용합니다. 각 평가를 여러 번 반복하고 결론의 일관성을 측정합니다. 실행 간에 출력이 크게 다르면 증거가 모호하거나 불충분하다는 신호입니다. 이러한 경우, AIRI는 지능적으로 인간 검토를 트리거하여 잠재적으로 신뢰할 수 없는 자동화된 판단을 방지하고 강력한 거버넌스 프로세스를 보장합니다. 이 혁신적인 접근 방식은 추상적인 프레임워크 요구 사항과 구체적인 에이전트 행동 사이의 격차를 효과적으로 해소하여, 거버넌스 의도를 복잡한 에이전트 시스템 전반에 걸쳐 구조화되고 반복 가능하며 확장 가능한 평가로 전환합니다.

결론: 에이전트 AI의 미래 확보

에이전트 AI의 등장은 조직이 AI 배포 및 거버넌스에 접근하는 방식에 근본적인 변화를 가져옵니다. 예측 가능하고 정적인 시스템의 시대는 지나고, 위험 관리에 새로운 수준의 정교함을 요구하는 동적이고 비결정론적인 에이전트가 그 자리를 차지했습니다. 기존 거버넌스 모델은 이러한 AI 발전의 속도와 복잡성을 따라잡기에 단순히 불충분합니다. AWS의 AI 위험 인텔리전스(AIRI)는 에이전트 시스템을 보호하고 거버넌스하기 위한 자동화되고 포괄적이며 적응 가능한 프레임워크를 제공하는 중요한 솔루션입니다. 보안, 운영 및 거버넌스를 단일의 지속적인 관점으로 통합함으로써 AIRI는 조직이 책임감 있는 AI 원칙을 유지하고 규정 준수를 보장하면서 AI 야망을 자신감 있게 추구할 수 있도록 지원합니다. 조직이 계속해서 에이전트 AI 운영화를 추진함에 따라 AIRI와 같은 솔루션은 잠재적 위험을 혁신과 성장의 기회로 전환하는 데 필수적일 것입니다.