Управување со ВИ: Ризична интелигенција за агентски системи

Ерата на агентската ВИ: Преобликување на управувањето со корпоративна ВИ

Пејзажот на вештачката интелигенција брзо се развива, воведувајќи „агентска ера“ каде ВИ системите работат со невидена автономија. Заминаа деновите на предвидлив, бинарен DevOps; агентската ВИ е недетерминистичка, која се прилагодува и расудува независно. Оваа фундаментална промена претставува длабок предизвик за традиционалните рамки за управување со ИТ, кои беа дизајнирани за статични, предвидливи имплементации. Организациите се соочуваат со неусогласености во безбедноста, празнини во усогласеноста и непроѕирни метрики за видливост за овие сложени интеракции на повеќе системи. Оваа динамична средина бара нов пристап кон безбедноста, операциите и управувањето, гледани како меѓузависни димензии на здравјето на агентскиот систем. Од оваа критична потреба произлегува Интелигенцијата за ризик од ВИ (ИРВИ). Развиена од Центарот за иновации на генеративна ВИ на AWS (AWS Generative AI Innovation Center) и изградена врз робусната Рамка за најдобри практики за одговорна ВИ на AWS (AWS Responsible AI Best Practices Framework), ИРВИ е решение за автоматизирано управување на корпоративно ниво дизајнирано да донесе јасност и контрола во агентската ера.

Непредвидлива природа на агентската ВИ и каскадни ризици

Основната карактеристика на агентската ВИ е нејзиното недетерминистичко однесување. За разлика од традиционалниот софтвер, поставувањето на истото прашање на агент двапати може да даде различни одговори, бидејќи агентите независно избираат алатки и пристапи наместо да следат ригидни работни процеси. Оваа флуидност значи дека квалитетот постои на градиент, од совршен до фабрикуван, наместо едноставен резултат положено-паднато. Следствено, предвидливите зависности и процеси отстапија место на автономни системи кои се прилагодуваат, расудуваат и дејствуваат независно.

Традиционалното управување со ИТ, изградено за статични имплементации, не може ефикасно да управува со овие сложени интеракции на повеќе системи. Ова создава значајни слепи точки. На пример, Проектот за безбедност на отворени светски апликации (OWASP) ја идентификува „Злоупотреба и искористување на алатки“ како врвен ризик за агентски апликации. Разгледајте сценарио каде корпоративен ВИ асистент, легитимно конфигуриран со пристап до е-пошта, календар и CRM, е компромитиран. Злонамерен актер вградува скриени инструкции во е-пошта. Кога корисникот бара невин резиме, компромитираниот агент, кој работи во рамките на неговите доделени дозволи, пребарува чувствителни податоци и ги извлекува преку покани за календар, сето тоа додека обезбедува безопасно одговор што го прикрива пробивот. Стандардните алатки за спречување губење податоци и мрежниот мониторинг овде потфрлаат бидејќи дејствата, иако злонамерни, се случуваат во рамките на овластените параметри и не предизвикуваат движење на податоци или мрежни аномалии на начини што традиционалните системи би ги откриле. Ова нагласува како безбедносните пропусти кај агентските системи можат да се прелеат низ повеќе оперативни димензии истовремено, правејќи го традиционалното, изолирано управување неефикасно. Ваквите сценарија ја нагласуваат важноста на стратегиите како дизајнирање агенти отпорни на инјектирање на наредби од самиот почеток.

Воведување на Интелигенција за ризик од ВИ (ИРВИ): Фундаментална промена во управувањето

За да се премости јазот помеѓу статичните контроли и динамичното агентско однесување, AWS ја разви Интелигенцијата за ризик од ВИ (ИРВИ). ИРВИ ги редефинира безбедноста, операциите и управувањето како меѓусебно поврзана рамка на „Интелигенција за ризик од ВИ“. Тоа е решение за автоматизирано управување на корпоративно ниво што ја автоматизира проценката на безбедносните, оперативните и управувачките контроли, консолидирајќи ги во единствена, оперативна перспектива низ целиот агентски животен циклус. Дизајнот на ИРВИ ги користи предностите на Рамката за најдобри практики за одговорна ВИ на AWS, која ги води клиентите во интегрирањето на одговорни ВИ размислувања низ целиот животен циклус на ВИ, овозможувајќи информирани одлуки за дизајн и забрзување на распоредувањето на доверливи ВИ системи. Ова решение фундаментално го менува управувањето од реактивен, рачен процес во проактивен, автоматизиран и континуиран процес.

Она што ја прави ИРВИ особено моќна е нејзината агностичка природа кон рамки. Таа не вградува правила за специфични закани, туку се калибрира според широк спектар на стандарди за управување, вклучувајќи ги Рамката за управување со ризик од ВИ на NIST (NIST AI Risk Management Framework), ISO и OWASP. Ова значи дека истиот мотор што ги евалуира безбедносните контроли на OWASP може исто така да ги процени внатрешните политики за транспарентност на една организација или индустриско-специфичните барања за усогласеност. Оваа приспособливост осигурува дека ИРВИ останува релевантна низ различни агентски архитектури, индустрии и профили на ризици кои се развиваат, расудувајќи врз докази како континуиран, скалабилен ревизор. Таа ги трансформира апстрактните барања на рамката во конкретни, применливи евалуации вградени низ целиот агентски животен циклус, од дизајн до постпродукција.

ИРВИ во акција: Операционализирање на автоматизирано управување

Да се вратиме на нашиот пример со ВИ асистент за да илустрираме како ИРВИ го операционализира автоматизираното управување. Замислете дека развоен тим создал Доказ за концепт (PoC) за овој ВИ асистент. Пред да се распореди во продукција, тие ја користат ИРВИ. За да се воспостави основна проценка, се ангажира можноста за автоматизиран преглед на техничката документација на ИРВИ. Овој процес автоматски собира докази за имплементации на контроли, евалуирајќи не само безбедносни, туку и критични контроли за оперативен квалитет како што се транспарентност, контрола, објаснивост, безбедност и робусност. Анализата се протега на дизајнот на случајот на употреба, неговата основна инфраструктура и релевантните организациски политики за да се обезбеди усогласеност со барањата за корпоративно управување и усогласеност.

Еве пример за типовите контроли што ИРВИ може да ги процени за време на оваа фаза:

Категорија на контрола	Опис	Фокус на евалуација на ИРВИ
Безбедност	Шифрирање на податоци, контрола на пристап, управување со ранливости	Верификација на ракување со податоци, пристап до алатки и потенцијални вектори на експлоатација.
Операции	Мониторинг, логирање, одговор на инциденти	Евалуација на видливоста на системот и можностите за реакција.
Транспарентност	Потекло на моделот, извори на податоци, процес на донесување одлуки	Јасност на внатрешното работење на ВИ и потеклото на податоците.
Контрола	Механизми за човечки надзор, точки за интервенција, итно запирање	Ефективност на протоколите 'човек во циклусот' и безбедносни протоколи.
Објаснивост	Образложение за дејствата на агентот, толкување на резултатите	Способност да се разбере зошто агентот преземал одредено дејство.
Безбедност	Откривање пристрасност, етички упатства, метрики за правичност	Придржување кон принципите на одговорна ВИ и ублажување на штетните резултати.
Робусност	Отпорност на непријателски напади, ракување со грешки, доверливост	Способност на системот да ги одржува перформансите под стрес и против манипулација.
Усогласеност	Регулаторно придржување, индустриски стандарди, организациски политики	Усогласеност со законските барања и внатрешните рамки за управување.

За секоја димензија на контрола, ИРВИ извршува циклус на расудување. Прво, таа извлекува специфични критериуми за евалуација од применливата рамка за управување. Следно, таа извлекува докази директно од артефактите на системот – вклучувајќи архитектонски документи, конфигурации на агенти и организациски политики. Конечно, таа расудува за усогласеноста помеѓу барањата на рамката и демонстрираните докази на системот, утврдувајќи ја ефективноста на имплементацијата на контролата. Овој пристап базиран на расудување ѝ овозможува на ИРВИ да се прилагоди на нови дизајни на агенти, рамки кои се развиваат и нови категории на ризици без да бара реинженеринг на нејзината основна логика.

За да ја подобри доверливоста на овие проценки, ИРВИ користи техника наречена семантичка ентропија. Таа ја повторува секоја евалуација повеќе пати и ја мери доследноста на нејзините заклучоци. Доколку излезите значително се разликуваат помеѓу извршувањата, тоа сигнализира дека доказите може да се двосмислени или недоволни. Во такви случаи, ИРВИ интелигентно предизвикува човечки преглед, спречувајќи потенцијално несигурни автоматизирани проценки и осигурувајќи робустен процес на управување. Овој иновативен пристап ефикасно го премостува јазот помеѓу апстрактните барања на рамката и конкретното однесување на агентот, трансформирајќи ја намерата за управување во структурирана, повторлива и скалабилна евалуација низ комплексни агентски системи.

Заклучок: Обезбедување на иднината на агентската ВИ

Подемот на агентската ВИ означува фундаментална промена во начинот на кој организациите мора да пристапат кон распоредувањето и управувањето со ВИ. Ерата на предвидливи, статични системи заврши, заменета со динамични, недетерминистички агенти кои бараат ново ниво на софистицираност во управувањето со ризици. Традиционалните модели за управување се едноставно недоволни да одржат чекор со брзината и сложеноста на овие ВИ напредоци. Интелигенцијата за ризик од ВИ (ИРВИ) од AWS обезбедува критично решение, нудејќи автоматизирана, сеопфатна и приспособлива рамка за обезбедување и управување со агентски системи. Со интегрирање на безбедноста, операциите и управувањето во единствена, континуирана перспектива, ИРВИ им овозможува на организациите со доверба да ги следат своите амбиции за ВИ, одржувајќи ги принципите на одговорна ВИ и обезбедувајќи усогласеност. Како што организациите продолжуваат да операционализираат агентска ВИ, решенијата како ИРВИ ќе бидат незаменливи во трансформирањето на потенцијалните ризици во можности за иновации и раст.

Оригинален извор

https://aws.amazon.com/blogs/machine-learning/can-your-governance-keep-pace-with-with-your-ai-ambitions-ai-risk-intelligence-in-the-agentic-era/

Често поставувани прашања

What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

Бидете информирани

Добивајте ги најновите AI вести на е-пошта.

Сподели