What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

Quản trị AI: Tình báo Rủi ro cho các Hệ thống Tác tử

Kỷ nguyên AI tác tử: Định hình lại quản trị AI doanh nghiệp

Bối cảnh AI đang phát triển nhanh chóng, mở ra một 'kỷ nguyên tác tử' nơi các hệ thống AI hoạt động với khả năng tự chủ chưa từng có. Thời kỳ của DevOps nhị phân, có thể dự đoán được đã qua; AI tác tử là phi xác định, tự thích nghi và suy luận độc lập. Sự thay đổi mô hình này đặt ra một thách thức sâu sắc đối với các khuôn khổ quản trị CNTT truyền thống, vốn được thiết kế cho các triển khai tĩnh, có thể dự đoán được. Các tổ chức đang phải đối mặt với tình trạng bảo mật không nhất quán, các lỗ hổng tuân thủ và các chỉ số khả năng quan sát không rõ ràng cho các tương tác đa hệ thống phức tạp này. Môi trường năng động này đòi hỏi một cách tiếp cận mới đối với bảo mật, vận hành và quản trị, được xem là các khía cạnh phụ thuộc lẫn nhau của tình trạng hệ thống tác tử. Từ nhu cầu cấp thiết này mà Tình báo Rủi ro AI (AIRI) ra đời. Được phát triển bởi AWS Generative AI Innovation Center và xây dựng dựa trên Khuôn khổ Thực hành Tốt nhất về AI có Trách nhiệm của AWS, AIRI là một giải pháp quản trị tự động cấp doanh nghiệp được thiết kế để mang lại sự rõ ràng và kiểm soát cho kỷ nguyên tác tử.

Bản chất khó đoán và Rủi ro leo thang của AI tác tử

Đặc điểm cốt lõi của AI tác tử là hành vi phi xác định của nó. Không giống như phần mềm truyền thống, hỏi cùng một câu hỏi hai lần có thể cho ra những câu trả lời khác nhau, vì các tác tử độc lập lựa chọn công cụ và phương pháp thay vì tuân theo các quy trình làm việc cứng nhắc. Sự linh hoạt này có nghĩa là chất lượng tồn tại trên một thang đo, từ hoàn hảo đến bịa đặt, chứ không phải là một kết quả đơn giản đạt hay không đạt. Do đó, các phụ thuộc và quy trình có thể dự đoán được đã nhường chỗ cho các hệ thống tự động thích ứng, suy luận và hành động độc lập.

Quản trị CNTT truyền thống, được xây dựng cho các triển khai tĩnh, không thể quản lý hiệu quả các tương tác đa hệ thống phức tạp này. Điều này tạo ra những điểm mù đáng kể. Chẳng hạn, Open Worldwide Application Security Project (OWASP) xác định 'Lạm dụng và Khai thác Công cụ' là một rủi ro hàng đầu đối với các ứng dụng tác tử. Hãy xem xét một kịch bản trong đó một trợ lý AI doanh nghiệp, được cấu hình hợp pháp với quyền truy cập email, lịch và CRM, bị xâm nhập. Một tác nhân độc hại nhúng các hướng dẫn ẩn trong một email. Khi người dùng yêu cầu một bản tóm tắt vô hại, tác tử bị xâm nhập, hoạt động trong phạm vi quyền hạn được cấp, tìm kiếm dữ liệu nhạy cảm và rò rỉ nó qua lời mời trên lịch, đồng thời cung cấp một phản hồi vô hại che giấu hành vi vi phạm. Các công cụ phòng chống mất dữ liệu và giám sát mạng tiêu chuẩn thất bại ở đây vì các hành động, mặc dù độc hại, xảy ra trong các tham số được ủy quyền và không nhất thiết kích hoạt việc di chuyển dữ liệu hoặc các bất thường mạng theo cách mà các hệ thống truyền thống sẽ phát hiện. Điều này làm nổi bật cách các lỗ hổng bảo mật trong các hệ thống tác tử có thể lan rộng trên nhiều khía cạnh hoạt động cùng lúc, khiến quản trị truyền thống, bị cô lập trở nên kém hiệu quả. Các kịch bản như vậy nhấn mạnh tầm quan trọng của các chiến lược như thiết kế tác tử để chống lại việc tiêm lệnh (prompt injection) ngay từ đầu.

Giới thiệu Tình báo Rủi ro AI (AIRI): Một sự thay đổi mô hình trong quản trị

Để thu hẹp khoảng cách giữa các kiểm soát tĩnh và hành vi tác tử động, AWS đã phát triển Tình báo Rủi ro AI (AIRI). AIRI định nghĩa lại bảo mật, vận hành và quản trị như một khuôn khổ 'Tình báo Rủi ro AI' được kết nối với nhau. Đây là một giải pháp quản trị tự động cấp doanh nghiệp, tự động hóa việc đánh giá các kiểm soát bảo mật, vận hành và quản trị, hợp nhất chúng thành một cái nhìn duy nhất, có thể hành động trong suốt vòng đời tác tử. Thiết kế của AIRI tận dụng Khuôn khổ Thực hành Tốt nhất về AI có Trách nhiệm của AWS, giúp hướng dẫn khách hàng tích hợp các cân nhắc về AI có trách nhiệm trong suốt vòng đời AI, cho phép đưa ra các quyết định thiết kế sáng suốt và đẩy nhanh việc triển khai các hệ thống AI đáng tin cậy. Giải pháp này về cơ bản chuyển đổi quản trị từ một quy trình thủ công, phản ứng thành một quy trình chủ động, tự động và liên tục.

Điều làm cho AIRI đặc biệt mạnh mẽ là bản chất không phụ thuộc vào khuôn khổ của nó. Nó không mã hóa cứng các quy tắc cho các mối đe dọa cụ thể mà điều chỉnh theo một loạt các tiêu chuẩn quản trị rộng lớn, bao gồm NIST AI Risk Management Framework, ISO và OWASP. Điều này có nghĩa là cùng một công cụ đánh giá các kiểm soát bảo mật của OWASP cũng có thể đánh giá các chính sách minh bạch nội bộ của một tổ chức hoặc các yêu cầu tuân thủ cụ thể của ngành. Khả năng thích ứng này đảm bảo AIRI vẫn phù hợp trên các kiến trúc tác tử, ngành công nghiệp và hồ sơ rủi ro đang phát triển đa dạng, suy luận dựa trên bằng chứng như một kiểm toán viên liên tục, có thể mở rộng. Nó biến các yêu cầu khuôn khổ trừu tượng thành các đánh giá cụ thể, có thể hành động được nhúng vào toàn bộ vòng đời tác tử, từ thiết kế đến hậu sản xuất.

AIRI trong hành động: Vận hành Quản trị Tự động

Hãy cùng xem lại ví dụ về trợ lý AI của chúng ta để minh họa cách AIRI vận hành quản trị tự động. Hãy tưởng tượng một nhóm phát triển đã tạo ra một Proof of Concept (POC) cho trợ lý AI này. Trước khi triển khai vào sản xuất, họ sử dụng AIRI. Để thiết lập một đánh giá nền tảng, khả năng xem xét tài liệu kỹ thuật tự động của AIRI được kích hoạt. Quá trình này tự động thu thập bằng chứng về việc triển khai kiểm soát, đánh giá không chỉ bảo mật mà còn các kiểm soát chất lượng vận hành quan trọng như tính minh bạch, khả năng kiểm soát, khả năng giải thích, an toàn và tính mạnh mẽ. Phân tích bao gồm thiết kế của trường hợp sử dụng, cơ sở hạ tầng cơ bản của nó và các chính sách tổ chức liên quan để đảm bảo phù hợp với các yêu cầu quản trị và tuân thủ của doanh nghiệp.

Dưới đây là ví dụ về các loại kiểm soát mà AIRI có thể đánh giá trong giai đoạn này:

Danh mục Kiểm soát	Mô tả	Trọng tâm đánh giá của AIRI
Bảo mật	Mã hóa dữ liệu, kiểm soát truy cập, quản lý lỗ hổng	Xác minh việc xử lý dữ liệu, quyền truy cập công cụ và các véc-tơ khai thác tiềm năng.
Vận hành	Giám sát, ghi nhật ký, phản ứng sự cố	Đánh giá khả năng quan sát và phản ứng của hệ thống.
Minh bạch	Nguồn gốc mô hình, nguồn dữ liệu, quy trình ra quyết định	Sự rõ ràng về cách thức hoạt động nội bộ của AI và nguồn gốc dữ liệu.
Khả năng kiểm soát	Cơ chế giám sát của con người, điểm can thiệp, dừng khẩn cấp	Hiệu quả của các giao thức có con người tham gia và an toàn dự phòng.
Khả năng giải thích	Cơ sở lý luận cho hành động của tác tử, khả năng diễn giải kết quả	Khả năng hiểu tại sao một tác tử lại thực hiện một hành động cụ thể.
An toàn	Phát hiện thiên vị, hướng dẫn đạo đức, các chỉ số công bằng	Tuân thủ các nguyên tắc AI có trách nhiệm và giảm thiểu các đầu ra gây hại.
Tính mạnh mẽ	Khả năng phục hồi trước các cuộc tấn công đối địch, xử lý lỗi, độ tin cậy	Khả năng của hệ thống duy trì hiệu suất dưới áp lực và chống lại sự thao túng.
Tuân thủ	Tuân thủ quy định, tiêu chuẩn ngành, chính sách tổ chức	Sự phù hợp với các quy định pháp lý và các khuôn khổ quản trị nội bộ.

Đối với mỗi khía cạnh kiểm soát, AIRI thực hiện một vòng lặp suy luận. Đầu tiên, nó trích xuất các tiêu chí đánh giá cụ thể từ khuôn khổ quản trị áp dụng. Tiếp theo, nó lấy bằng chứng trực tiếp từ các tạo phẩm của hệ thống—bao gồm tài liệu kiến trúc, cấu hình tác tử và chính sách tổ chức. Cuối cùng, nó suy luận về sự phù hợp giữa các yêu cầu của khuôn khổ và bằng chứng được thể hiện của hệ thống, xác định hiệu quả của việc triển khai kiểm soát. Cách tiếp cận dựa trên suy luận này cho phép AIRI thích ứng với các thiết kế tác tử mới, các khuôn khổ đang phát triển và các danh mục rủi ro mới nổi mà không yêu cầu phải thiết kế lại logic cốt lõi của nó.

Để tăng cường độ tin cậy của các đánh giá này, AIRI sử dụng một kỹ thuật gọi là semantic entropy (độ bất định ngữ nghĩa). Nó lặp lại mỗi đánh giá nhiều lần và đo lường sự nhất quán của các kết luận. Nếu các đầu ra thay đổi đáng kể qua các lần chạy, điều đó báo hiệu rằng bằng chứng có thể mơ hồ hoặc không đủ. Trong những trường hợp như vậy, AIRI sẽ tự động kích hoạt xem xét của con người, ngăn chặn các đánh giá tự động có khả năng không đáng tin cậy và đảm bảo một quy trình quản trị mạnh mẽ. Cách tiếp cận đổi mới này đã thu hẹp khoảng cách giữa các yêu cầu khuôn khổ trừu tượng và hành vi tác tử cụ thể, biến ý định quản trị thành một đánh giá có cấu trúc, có thể lặp lại và có thể mở rộng trên các hệ thống tác tử phức tạp.

Kết luận: Bảo mật Tương lai của AI tác tử

Sự trỗi dậy của AI tác tử đánh dấu một sự thay đổi cơ bản trong cách các tổ chức phải tiếp cận việc triển khai và quản trị AI. Kỷ nguyên của các hệ thống tĩnh, có thể dự đoán được đã kết thúc, được thay thế bằng các tác tử động, phi xác định đòi hỏi mức độ tinh vi mới trong quản lý rủi ro. Các mô hình quản trị truyền thống đơn giản là không đủ để theo kịp tốc độ và sự phức tạp của những tiến bộ AI này. Tình báo Rủi ro AI (AIRI) từ AWS cung cấp một giải pháp quan trọng, đưa ra một khuôn khổ tự động, toàn diện và thích ứng để bảo mật và quản trị các hệ thống tác tử. Bằng cách tích hợp bảo mật, vận hành và quản trị thành một cái nhìn duy nhất, liên tục, AIRI trao quyền cho các tổ chức tự tin theo đuổi tham vọng AI của họ đồng thời duy trì các nguyên tắc AI có trách nhiệm và đảm bảo tuân thủ. Khi các tổ chức tiếp tục vận hành AI tác tử, các giải pháp như AIRI sẽ là không thể thiếu trong việc biến các rủi ro tiềm ẩn thành cơ hội đổi mới và phát triển.