Управление ИИ: Анализ рисков для агентных систем

title: "Управление ИИ: Анализ рисков для агентных систем" slug: "can-your-governance-keep-pace-with-your-ai-ambitions-ai-risk-intelligence-in-the-agentic-era" date: "2026-04-01" lang: "ru" source: "https://aws.amazon.com/blogs/machine-learning/can-your-governance-keep-pace-with-with-your-ai-ambitions-ai-risk-intelligence-in-the-agentic-era/" category: "Корпоративный ИИ" keywords:

управление ИИ
агентный ИИ
анализ рисков ИИ
AWS
корпоративный ИИ
безопасность ИИ
ответственный ИИ
соответствие ИИ требованиям
управление рисками
автоматизированное управление
генеративный ИИ
безопасность ИИ meta_description: "Узнайте, как AI Risk Intelligence (AIRI) от AWS революционизирует управление ИИ для агентных систем, обеспечивая безопасность и соответствие требованиям в эпоху недетерминированного ИИ." image: "/images/articles/can-your-governance-keep-pace-with-your-ai-ambitions-ai-risk-intelligence-in-the-agentic-era.png" image_alt: "Панель управления анализом рисков ИИ, показывающая всесторонний обзор состояния агентной системы." quality_score: 94 content_score: 93 seo_score: 95 companies:
AWS schema_type: "NewsArticle" reading_time: 5 faq:
question: "Что такое агентный ИИ и почему он создает новые проблемы для управления?" answer: "Агентный ИИ относится к системам искусственного интеллекта, которые работают недетерминированно, то есть не следуют фиксированным, предсказуемым шаблонам. Вместо этого они адаптируются, рассуждают и действуют независимо, выбирая различные инструменты и подходы по мере выполнения задач. Это резко контрастирует с традиционными, статическими программными системами, где входные данные надежно приводят к предсказуемым результатам. Эта недетерминированная природа бросает вызов традиционным структурам управления, разработанным для предсказуемых развертываний, создавая сложности в безопасности, соблюдении требований и наблюдаемости. Агентный ИИ может приводить к непоследовательным мерам безопасности и пробелам в соблюдении требований, поскольку его действия, даже если они злонамеренные, могут происходить в рамках законно предоставленных разрешений, что затрудняет обнаружение стандартными инструментами."
question: "Что такое AI Risk Intelligence (AIRI) и кто ее разработал?" answer: "AI Risk Intelligence (AIRI) — это автоматизированное решение для управления корпоративного уровня, разработанное Центром инноваций генеративного ИИ AWS. Оно предназначено для решения уникальных проблем управления, возникающих в агентных системах ИИ. AIRI автоматизирует оценку контроля безопасности, операций и управления, объединяя их в единую, непрерывную перспективу на протяжении всего жизненного цикла агентной системы. Его разработка основана на надежной структуре передовых практик AWS Responsible AI, целью которой является помощь организациям во внедрении доверенных систем ИИ путем интеграции соображений ответственного ИИ от проектирования до постпроизводства."
question: "Как AIRI решает проблему 'Неправильного использования и эксплуатации инструментов' в агентных системах?" answer: "AIRI решает проблему 'Неправильного использования и эксплуатации инструментов' (один из 10 главных рисков OWASP для агентных приложений), обеспечивая непрерывное автоматизированное управление, которое оценивает действия агента в соответствии с его предполагаемой областью применения. В отличие от традиционных средств предотвращения потери данных или мониторинга сети, которые могут пропустить аномалии в рамках авторизованных разрешений, AIRI интегрирует безопасность непосредственно в работу агентов. Он анализирует доказательства, чтобы определить, соответствует ли использование агентом своих инструментов, таких как доступ к электронной почте или календарю, установленным стандартам управления, даже если действия технически находятся в рамках предоставленных разрешений. Это позволяет заблаговременно обнаруживать потенциально вредоносное или непреднамеренное неправильное использование инструментов, которое может привести к утечке данных или другим нарушениям."
question: "Какие структуры управления может операционализировать AIRI?" answer: "AIRI является фреймворк-независимым, что означает, что он может операционализировать широкий спектр стандартов управления, а не ограничиваться определенным набором правил. Он преобразует такие фреймворки, как NIST AI Risk Management Framework, стандарты ISO и рекомендации OWASP, из статических справочных документов в автоматизированные, непрерывные оценки. Такая адаптивность позволяет AIRI настраиваться на конкретные стандарты управления организации, включая внутренние политики прозрачности и отраслевые требования соответствия, делая его применимым для различных архитектур агентов, отраслей и профилей рисков без необходимости перепроектирования для каждого нового контекста."
question: "Как AIRI использует 'семантическую энтропию' в процессе оценки?" answer: "AIRI использует 'семантическую энтропию' как метод для повышения надежности своих автоматизированных оценок управления. После проведения оценки контроля AIRI повторяет эту оценку несколько раз. Семантическая энтропия затем измеряет согласованность выводов, сделанных в ходе этих повторных запусков. Если результаты или оценки значительно различаются, это сигнализирует о том, что лежащие в основе доказательства могут быть неоднозначными или недостаточными для окончательного автоматического определения. В таких случаях AIRI разумно инициирует проверку человеком, предотвращая потенциально ненадежные автоматические оценки и обеспечивая, чтобы сложные или неясные ситуации получали необходимый человеческий надзор и экспертизу."
question: "Каковы ключевые преимущества внедрения AIRI для корпоративных развертываний ИИ?" answer: "Внедрение AIRI обеспечивает несколько ключевых преимуществ для корпоративных развертываний ИИ. Оно переводит организации от реактивного, ручного управления к проактивному, автоматизированному и непрерывному надзору за агентными системами. Преимущества включают достижение согласованной позиции безопасности во всех сложных агентных рабочих процессах, устранение пробелов в соответствии за счет непрерывной оценки по различным стандартам (NIST, ISO, OWASP), а также повышение прозрачности поведения агентов и рисков для заинтересованных сторон бизнеса. Автоматизируя оценку контроля безопасности, операций и управления, AIRI позволяет организациям уверенно масштабировать свои амбиции в области ИИ, сокращать усилия по ручному аудиту и строить доверие к своим системам ИИ, внедряя принципы ответственного ИИ на протяжении всего жизненного цикла."


## Эпоха агентного ИИ: Изменение управления корпоративным ИИ

Ландшафт ИИ стремительно меняется, открывая 'эпоху агентов', где системы ИИ действуют с беспрецедентной автономией. Прошли времена предсказуемого, бинарного DevOps; агентный ИИ недетерминирован, он адаптируется и рассуждает независимо. Этот сдвиг парадигмы представляет собой серьезный вызов традиционным структурам управления ИТ, которые были разработаны для статических, предсказуемых развертываний. Организации сталкиваются с непоследовательными мерами безопасности, пробелами в соблюдении требований и непрозрачными метриками наблюдаемости для этих сложных многосистемных взаимодействий. Эта динамичная среда требует нового подхода к безопасности, операциям и управлению, рассматриваемых как взаимозависимые измерения здоровья агентной системы. Именно из этой критической потребности возникает **AI Risk Intelligence (AIRI)**. Разработанный Центром инноваций генеративного ИИ AWS и основанный на надежной структуре передовых практик AWS Responsible AI, AIRI представляет собой автоматизированное решение для управления корпоративного уровня, разработанное для внесения ясности и контроля в эпоху агентов.

## Непредсказуемая природа агентного ИИ и каскадные риски

Основная характеристика агентного ИИ — его недетерминированное поведение. В отличие от традиционного программного обеспечения, двукратное задавание одного и того же вопроса агенту может дать разные ответы, поскольку агенты независимо выбирают инструменты и подходы, а не следуют жестким рабочим процессам. Эта текучесть означает, что качество существует на градиенте, от идеального до сфабрикованного, а не просто "прошел/не прошел". Следовательно, предсказуемые зависимости и процессы уступили место автономным системам, которые адаптируются, рассуждают и действуют независимо.

Традиционное управление ИТ, разработанное для статических развертываний, не может эффективно управлять этими сложными многосистемными взаимодействиями. Это создает значительные 'слепые зоны'. Например, Open Worldwide Application Security Project (OWASP) определяет 'Неправильное использование и эксплуатацию инструментов' как один из главных рисков для агентных приложений. Рассмотрим сценарий, когда корпоративный ИИ-помощник, законно настроенный с доступом к электронной почте, календарю и CRM, оказывается скомпрометированным. Злоумышленник встраивает скрытые инструкции в электронное письмо. Когда пользователь запрашивает безобидное резюме, скомпрометированный агент, действуя в рамках своих предоставленных разрешений, ищет конфиденциальные данные и извлекает их через приглашения в календарь, при этом предоставляя безвредный ответ, маскирующий нарушение. Стандартные инструменты предотвращения потери данных и мониторинга сети здесь не справляются, потому что действия, хоть и вредоносные, происходят в рамках авторизованных параметров и не обязательно вызывают перемещение данных или сетевые аномалии так, как их обнаружили бы традиционные системы. Это подчеркивает, как уязвимости безопасности в агентных системах могут одновременно каскадно распространяться по нескольким операционным измерениям, делая традиционное, разрозненное управление неэффективным. Такие сценарии подчеркивают важность таких стратегий, как [проектирование агентов, устойчивых к внедрению подсказок](/ru/designing-agents-to-resist-prompt-injection), с самого начала.

## Представляем AI Risk Intelligence (AIRI): Сдвиг парадигмы в управлении

Чтобы преодолеть разрыв между статическими средствами контроля и динамичным поведением агентов, AWS разработала AI Risk Intelligence (AIRI). AIRI переопределяет безопасность, операции и управление как взаимосвязанную структуру 'Анализа рисков ИИ'. Это автоматизированное решение для управления корпоративного уровня, которое автоматизирует оценку контроля безопасности, операций и управления, объединяя их в единую, действенную перспективу на протяжении всего жизненного цикла агентной системы. Дизайн AIRI использует структуру передовых практик AWS Responsible AI, которая помогает клиентам интегрировать соображения ответственного ИИ на протяжении всего жизненного цикла ИИ, что позволяет принимать обоснованные проектные решения и ускорять развертывание доверенных систем ИИ. Это решение кардинально меняет управление с реактивного, ручного процесса на проактивный, автоматизированный и непрерывный.

Что делает AIRI особенно мощным, так это его фреймворк-независимость. Он не жестко кодирует правила для конкретных угроз, а калибруется по широкому спектру стандартов управления, включая NIST AI Risk Management Framework, ISO и OWASP. Это означает, что тот же движок, который оценивает меры безопасности OWASP, также может оценивать внутренние политики прозрачности организации или отраслевые требования соответствия. Такая адаптивность гарантирует, что AIRI остается актуальным для различных архитектур агентов, отраслей и меняющихся профилей рисков, анализируя доказательства подобно непрерывному, масштабируемому аудитору. Он преобразует абстрактные требования фреймворков в конкретные, действенные оценки, встроенные во весь жизненный цикл агентной системы, от проектирования до постпроизводства.

## AIRI в действии: Операционализация автоматизированного управления

Вернемся к нашему примеру ИИ-помощника, чтобы проиллюстрировать, как AIRI операционализирует автоматизированное управление. Представьте, что команда разработчиков создала прототип (POC) этого ИИ-помощника. Перед развертыванием в производство они используют AIRI. Для проведения базовой оценки задействуется функция автоматического обзора технической документации AIRI. Этот процесс автоматически собирает доказательства реализации контроля, оценивая не только безопасность, но и критически важные операционные контроли качества, такие как прозрачность, управляемость, объяснимость, безопасность (от вреда) и надежность. Анализ охватывает дизайн варианта использования, его базовую инфраструктуру и соответствующие организационные политики для обеспечения соответствия корпоративному управлению и требованиям.

Вот пример типов контролей, которые AIRI может оценивать на этом этапе:

| Категория контроля    | Описание                                                     | Фокус оценки AIRI                                                          |
| :------------------ | :-------------------------------------------------------------- | :----------------------------------------------------------------------------- |
| **Безопасность**        | Шифрование данных, контроль доступа, управление уязвимостями       | Проверка обработки данных, доступа к инструментам и потенциальных векторов эксплойтов.     |
| **Операции**      | Мониторинг, логирование, реагирование на инциденты                            | Оценка наблюдаемости системы и возможностей реагирования.                  |
| **Прозрачность**    | Происхождение модели, источники данных, процесс принятия решений            | Ясность внутренней работы ИИ и происхождения данных.                         |
| **Управляемость** | Механизмы человеческого надзора, точки вмешательства, аварийная остановка | Эффективность протоколов с участием человека и отказоустойчивых протоколов.                    |
| **Объяснимость**  | Обоснование действий агента, интерпретируемость результатов       | Способность понять, *почему* агент предпринял конкретное действие.                   |
| **Безопасность**          | Обнаружение предвзятости, этические принципы, метрики справедливости            | Соблюдение принципов ответственного ИИ и смягчение вредоносных результатов.      |
| **Устойчивость**      | Устойчивость к состязательным атакам, обработка ошибок, надежность  | Способность системы поддерживать производительность в условиях стресса и при манипуляциях. |
| **Соответствие требованиям**      | Соблюдение нормативных актов, отраслевых стандартов, организационных политик | Соответствие правовым предписаниям и внутренним структурам управления.              |

Для каждого измерения контроля AIRI выполняет цикл рассуждений. Сначала он извлекает конкретные критерии оценки из применимой структуры управления. Затем он получает доказательства непосредственно из артефактов системы — включая архитектурные документы, конфигурации агентов и организационные политики. Наконец, он анализирует соответствие между требованиями фреймворка и продемонстрированными доказательствами системы, определяя эффективность реализации контроля. Такой подход, основанный на рассуждениях, позволяет AIRI адаптироваться к новым конструкциям агентов, развивающимся фреймворкам и появляющимся категориям рисков без необходимости перепроектирования его основной логики.

Для повышения надежности этих оценок AIRI использует метод, называемый **семантической энтропией**. Он повторяет каждую оценку несколько раз и измеряет согласованность своих выводов. Если результаты значительно различаются между запусками, это сигнализирует о том, что доказательства могут быть неоднозначными или недостаточными. В таких случаях AIRI разумно инициирует проверку человеком, предотвращая потенциально ненадежные автоматические оценки и обеспечивая надежный процесс управления. Этот инновационный подход эффективно устраняет разрыв между абстрактными требованиями фреймворка и конкретным поведением агента, преобразуя намерение управления в структурированную, повторяемую и масштабируемую оценку в сложных агентных системах.

## Заключение: Обеспечение будущего агентного ИИ

Появление агентного ИИ знаменует собой фундаментальный сдвиг в том, как организации должны подходить к развертыванию и управлению ИИ. Эпоха предсказуемых, статических систем закончилась, ее заменили динамичные, недетерминированные агенты, требующие нового уровня сложности в управлении рисками. Традиционные модели управления просто недостаточны, чтобы соответствовать скорости и сложности этих достижений ИИ. AI Risk Intelligence (AIRI) от AWS предоставляет критически важное решение, предлагая автоматизированную, всеобъемлющую и адаптивную структуру для обеспечения безопасности и управления агентными системами. Интегрируя безопасность, операции и управление в единую, непрерывную перспективу, AIRI позволяет организациям уверенно преследовать свои амбиции в области ИИ, одновременно соблюдая принципы ответственного ИИ и обеспечивая соответствие требованиям. Поскольку организации продолжают [операционализировать агентный ИИ](/ru/operationalizing-agentic-ai-part-1-a-stakeholders-guide), такие решения, как AIRI, будут незаменимы для превращения потенциальных рисков в возможности для инноваций и роста.

Первоисточник

https://aws.amazon.com/blogs/machine-learning/can-your-governance-keep-pace-with-with-your-ai-ambitions-ai-risk-intelligence-in-the-agentic-era/

Часто задаваемые вопросы

What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

Будьте в курсе

Получайте последние новости ИИ на почту.