What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

Süni İntellekt İdarəetməsi: Agent Sistemləri üçün Risk Kəşfiyyatı

Agent Süni İntellekt Dövrü: Müəssisə Süni İntellekt İdarəetməsini Yenidən Formalaşdırmaq

Süni intellekt landşaftı sürətlə inkişaf edir, süni intellekt sistemlərinin misli görünməmiş muxtariyyətlə işlədiyi bir 'agent dövrünü' gətirir. Proqnozlaşdırıla bilən, ikili DevOps günləri geridə qaldı; agent süni intellekti qeyri-deterministikdir, müstəqil şəkildə uyğunlaşır və düşünür. Bu paradiqma dəyişikliyi statik, proqnozlaşdırıla bilən yerləşdirmələr üçün nəzərdə tutulmuş ənənəvi İT idarəetmə çərçivələrinə dərin bir meydan oxuyur. Təşkilatlar bu mürəkkəb çoxsistemli qarşılıqlı əlaqələr üçün qeyri-ardıcıl təhlükəsizlik mövqeyləri, uyğunluq boşluqları və qeyri-şəffaf müşahidə qabiliyyəti metrikaları ilə mübarizə aparırlar. Bu dinamik mühit agent sisteminin sağlamlığının bir-birindən asılı ölçüləri kimi baxılan təhlükəsizlik, əməliyyatlar və idarəetməyə yeni bir yanaşma tələb edir. Məhz bu kritik ehtiyacdan Süni İntellekt Risk Kəşfiyyatı (AIRI) yaranır. AWS Generativ Süni İntellekt İnnovasiya Mərkəzi tərəfindən hazırlanmış və möhkəm AWS Məsuliyyətli Süni İntellekt Ən Yaxşı Təcrübələr Çərçivəsi əsasında qurulmuş AIRI, agent dövrünə aydınlıq və nəzarət gətirmək üçün nəzərdə tutulmuş müəssisə səviyyəli avtomatlaşdırılmış idarəetmə həllidir.

Agent Süni İntellektinin Gözlənilməz Təbiəti və Kaskad Riskləri

Agent süni intellektinin əsas xüsusiyyəti onun qeyri-deterministik davranışıdır. Ənənəvi proqram təminatından fərqli olaraq, bir agentə eyni sualı iki dəfə vermək fərqli cavablar verə bilər, çünki agentlər sərt iş axınlarını izləmək əvəzinə, müstəqil şəkildə alətlər və yanaşmalar seçirlər. Bu axıcılıq o deməkdir ki, keyfiyyət sadə bir uğur-uğursuzluqdan daha çox, mükəmməldən saxtaya qədər bir qradiyent üzərində mövcuddur. Nəticə olaraq, proqnozlaşdırıla bilən asılılıqlar və proseslər müstəqil şəkildə uyğunlaşan, düşünən və fəaliyyət göstərən avtonom sistemlərə yol açmışdır.

Statik yerləşdirmələr üçün qurulmuş ənənəvi İT idarəetməsi bu mürəkkəb çoxsistemli qarşılıqlı əlaqələri effektiv şəkildə idarə edə bilməz. Bu, əhəmiyyətli kor nöqtələr yaradır. Məsələn, Açıq Dünya Tətbiqi Təhlükəsizlik Layihəsi (OWASP) "Alətin Sui-istifadəsi və İstismarı"nı agent tətbiqləri üçün ən yüksək risk kimi müəyyən edir. Təsəvvür edin ki, e-poçt, təqvim və CRM-ə girişlə qanuni şəkildə konfiqurasiya edilmiş bir müəssisə süni intellekt köməkçisi təhlükəyə məruz qalır. Zərərli bir aktyor e-poçta gizli təlimatlar yerləşdirir. Bir istifadəçi məsum bir icmal tələb etdikdə, təhlükəyə məruz qalmış agent, verilmiş icazələri daxilində işləyərək, həssas məlumatları axtarır və təqvim dəvətnamələri vasitəsilə sızdırır, bütün bunlar pozuntunu maskalayan zərərsiz bir cavab verərkən baş verir. Standart məlumat itkisinin qarşısının alınması alətləri və şəbəkə monitorinqi burada uğursuz olur, çünki hərəkətlər, zərərli olsa da, səlahiyyətli parametrlər daxilində baş verir və ənənəvi sistemlərin aşkar edəcəyi şəkildə məlumat hərəkəti və ya şəbəkə anomaliyalarını mütləq tətikləmir. Bu, agent sistemlərində təhlükəsizlik zəifliklərinin eyni vaxtda bir neçə əməliyyat ölçüsü üzrə necə kaskad edə biləcəyini vurğulayır və ənənəvi, silo tipli idarəetməni təsirsiz hala gətirir. Belə ssenarilər agentləri prompt injection-a qarşı müqavimət göstərmək üçün dizayn etmək kimi strategiyaların əhəmiyyətini əsaslandırır.

Süni İntellekt Risk Kəşfiyyatı (AIRI) Təqdimatı: İdarəetmədə Paradiqma Dəyişikliyi

Statik nəzarətlər və dinamik agent davranışları arasındakı boşluğu aradan qaldırmaq üçün AWS Süni İntellekt Risk Kəşfiyyatını (AIRI) inkişaf etdirdi. AIRI təhlükəsizlik, əməliyyatlar və idarəetməni bir-birinə bağlı "Süni İntellekt Risk Kəşfiyyatı" çərçivəsi kimi yenidən müəyyənləşdirir. Bu, təhlükəsizlik, əməliyyatlar və idarəetmə nəzarətlərinin qiymətləndirilməsini avtomatlaşdıran, onları bütün agent həyat dövrü boyu vahid, fəaliyyətə keçirilə bilən bir görünüşə birləşdirən müəssisə səviyyəli avtomatlaşdırılmış idarəetmə həllidir. AIRI-nin dizaynı, müştəriləri süni intellekt həyat dövrü boyu məsuliyyətli süni intellekt məsələlərini inteqrasiya etməyə, məlumatlı dizayn qərarları qəbul etməyə və etibarlı süni intellekt sistemlərinin yerləşdirilməsini sürətləndirməyə istiqamətləndirən AWS Məsuliyyətli Süni İntellekt Ən Yaxşı Təcrübələr Çərçivəsindən istifadə edir. Bu həll idarəetməni reaktiv, əl ilə prosesdən proaktiv, avtomatlaşdırılmış və davamlı bir prosesə əsaslı şəkildə dəyişir.

AIRI-ni xüsusilə güclü edən onun çərçivədən asılı olmayan təbiətidir. O, müəyyən təhdidlər üçün qaydaları sərt şəkildə kodlamır, lakin NIST Süni İntellekt Riskinin İdarə Edilməsi Çərçivəsi, ISO və OWASP daxil olmaqla geniş spektrli idarəetmə standartlarına qarşı kalibrləyir. Bu o deməkdir ki, OWASP təhlükəsizlik nəzarətlərini qiymətləndirən eyni mühərrik təşkilatın daxili şəffaflıq siyasətlərini və ya sənayeyə xas uyğunluq tələblərini də qiymətləndirə bilər. Bu uyğunlaşma qabiliyyəti AIRI-nin müxtəlif agent arxitekturaları, sənayelər və inkişaf edən risk profilləri üzrə əlaqəli qalmasını təmin edir, sübutları davamlı, genişlənə bilən bir auditor kimi əsaslandırır. O, mücərrəd çərçivə tələblərini dizayndan tutmuş istehsal sonrası mərhələyə qədər bütün agent həyat dövrünə daxil edilmiş konkret, fəaliyyətə keçirilə bilən qiymətləndirmələrə çevirir.

AIRI Fəaliyyətdə: Avtomatlaşdırılmış İdarəetmənin Fəaliyyətə Keçirilməsi

AIRI-nin avtomatlaşdırılmış idarəetməni necə fəaliyyətə keçirdiyini göstərmək üçün süni intellekt köməkçisi nümunəmizə qayıdaq. Təsəvvür edin ki, bir inkişaf qrupu bu süni intellekt köməkçisi üçün Konsept Təsdiqi (POC) yaratmışdır. İstehsala yerləşdirməzdən əvvəl onlar AIRI-dən istifadə edirlər. Əsas qiymətləndirməni qurmaq üçün AIRI-nin avtomatlaşdırılmış texniki sənədlərin nəzərdən keçirilməsi imkanı işə salınır. Bu proses təkcə təhlükəsizliyi deyil, həm də şəffaflıq, nəzarət qabiliyyəti, izaholunma qabiliyyəti, təhlükəsizlik və möhkəmlik kimi kritik əməliyyat keyfiyyət nəzarətlərini qiymətləndirərək nəzarət tətbiqlərinin sübutlarını avtomatik olaraq toplayır. Təhlil, müəssisə idarəetməsi və uyğunluq tələblərinə uyğunluğu təmin etmək üçün istifadə ssenarisinin dizaynını, onun əsas infrastrukturunu və müvafiq təşkilati siyasətləri əhatə edir.

AIRI-nin bu mərhələdə qiymətləndirə biləcəyi nəzarət növlərindən bəzi nümunələr:

Nəzarət Kateqoriyası	Təsvir	AIRI Qiymətləndirmə Fokusu
Təhlükəsizlik	Məlumat şifrələməsi, girişə nəzarət, zəifliklərin idarə edilməsi	Məlumatların işlənməsi, alətə giriş və potensial istismar vektorlarının yoxlanılması.
Əməliyyatlar	Monitorinq, qeyd etmə, insidentə cavab	Sistemin müşahidə qabiliyyətinin və reaksiya imkanlarının qiymətləndirilməsi.
Şəffaflıq	Modelin mənşəyi, məlumat mənbələri, qərar qəbuletmə prosesi	Süni intellektin daxili işləmə prinsiplərinin və məlumatın mənşəyinin aydınlığı.
Nəzarət Qabiliyyəti	İnsan nəzarət mexanizmləri, müdaxilə nöqtələri, təcili dayandırma	Dövrədə olan insan və təhlükəsizlik protokollarının effektivliyi.
İzaholunma Qabiliyyəti	Agent hərəkətləri üçün əsaslandırma, nəticələrin şərh edilə bilməsi	Bir agentin niyə müəyyən bir hərəkəti etdiyini anlama qabiliyyəti.
Təhlükəsizlik	Qərəzliyin aşkarlanması, etik təlimatlar, ədalət metrikaları	Məsuliyyətli süni intellekt prinsiplərinə riayət edilməsi və zərərli nəticələrin azaldılması.
Möhkəmlik	Düşmən hücumlarına qarşı dayanıqlılıq, səhv idarəetmə, etibarlılıq	Sistemin stres altında və manipulyasiyaya qarşı performansını qorumaq qabiliyyəti.
Uyğunluq	Tənzimləyici qaydalara riayət etmə, sənaye standartları, təşkilati siyasətlər	Hüquqi tələblərə və daxili idarəetmə çərçivələrinə uyğunluq.

Hər bir nəzarət ölçüsü üçün AIRI bir əsaslandırma dövrü icra edir. Əvvəlcə, tətbiq olunan idarəetmə çərçivəsindən xüsusi qiymətləndirmə meyarlarını çıxarır. Sonra, birbaşa sistemin artefaktlarından — memarlıq sənədləri, agent konfiqurasiyaları və təşkilati siyasətlər daxil olmaqla — sübutları çəkir. Nəhayət, çərçivənin tələbləri ilə sistemin nümayiş etdirdiyi sübutlar arasındakı uyğunluğu əsaslandırır, nəzarətin tətbiqinin effektivliyini müəyyən edir. Bu əsaslandırma əsaslı yanaşma AIRI-yə öz əsas məntiqinin yenidən mühəndisliyə ehtiyac olmadan yeni agent dizaynlarına, inkişaf edən çərçivələrə və yaranan risk kateqoriyalarına uyğunlaşmağa imkan verir.

Bu qərarların etibarlılığını artırmaq üçün AIRI semantik entropiya adlanan bir texnikadan istifadə edir. Hər bir qiymətləndirməni bir neçə dəfə təkrarlayır və nəticələrinin ardıcıllığını ölçür. Əgər nəticələr icralar arasında əhəmiyyətli dərəcədə fərqlənirsə, bu, sübutun qeyri-müəyyən və ya qeyri-kafi ola biləcəyini göstərir. Belə hallarda, AIRI ağıllı şəkildə insan tərəfindən nəzərdən keçirilməni tətikləyir, potensial olaraq etibarsız avtomatlaşdırılmış qərarların qarşısını alır və möhkəm bir idarəetmə prosesini təmin edir. Bu innovativ yanaşma, mücərrəd çərçivə tələbləri ilə konkret agent davranışları arasındakı boşluğu effektiv şəkildə aradan qaldırır, idarəetmə niyyətini mürəkkəb agent sistemlərində strukturlaşdırılmış, təkrarlana bilən və genişlənə bilən bir qiymətləndirməyə çevirir.

Nəticə: Agent Süni İntellektinin Gələcəyini Təmin Etmək

Agent süni intellektinin yüksəlişi təşkilatların süni intellektin yerləşdirilməsinə və idarəetməsinə necə yanaşmalı olduqlarında əsaslı bir dəyişikliyi göstərir. Proqnozlaşdırıla bilən, statik sistemlər dövrü sona çatdı, risk idarəetməsində yeni bir səviyyə tələb edən dinamik, qeyri-deterministik agentlərlə əvəz edildi. Ənənəvi idarəetmə modelləri bu süni intellekt irəliləyişlərinin sürəti və mürəkkəbliyi ilə ayaqlaşmaq üçün sadəcə yetərli deyil. AWS-in Süni İntellekt Risk Kəşfiyyatı (AIRI) agent sistemlərini təmin etmək və idarə etmək üçün avtomatlaşdırılmış, hərtərəfli və adaptiv bir çərçivə təklif edərək kritik bir həll təqdim edir. Təhlükəsizlik, əməliyyatlar və idarəetməni vahid, davamlı bir görünüşə inteqrasiya etməklə, AIRI təşkilatlara məsuliyyətli süni intellekt prinsiplərini qoruyaraq və uyğunluğu təmin edərək, süni intellekt ambisiyalarını inamla həyata keçirməyə imkan verir. Təşkilatlar agent süni intellektini fəaliyyətə keçirməyə davam etdikcə, AIRI kimi həllər potensial riskləri innovasiya və inkişaf imkanlarına çevirməkdə əvəzsiz olacaqdır.