What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

AI valdymas: rizikos intelektas agentinėms sistemoms

Agentinio AI era: verslo AI valdymo pertvarkymas

AI aplinka sparčiai vystosi, įžengdama į „agentinę erą“, kurioje AI sistemos veikia su precedento neturinčiu autonomiškumu. Praėjo nuspėjamų, dvejetainių DevOps laikų; agentinis AI yra nenuspėjamas, prisitaikantis ir samprotaujantis savarankiškai. Šis paradigmos pokytis kelia didelį iššūkį tradicinėms IT valdymo sistemoms, kurios buvo sukurtos statiniams, nuspėjamiems diegimams. Organizacijos susiduria su nenuosekliomis saugumo padėtimis, atitikties spragomis ir neaiškiais stebimumo rodikliais šioms sudėtingoms kelių sistemų sąveikoms. Ši dinamiška aplinka reikalauja naujo požiūrio į saugumą, operacijas ir valdymą, vertinamus kaip tarpusavyje susijusius agentinės sistemos būklės aspektus. Būtent iš šio kritinio poreikio atsiranda AI rizikos intelektas (AIRI). Sukurtas AWS Generatyvinio AI inovacijų centro ir paremtas tvirta AWS Atsakingo AI geriausios praktikos sistema, AIRI yra įmonės lygio automatizuotas valdymo sprendimas, skirtas įnešti aiškumo ir kontrolės į agentinę erą.

Agentinio AI nenuspėjamas pobūdis ir kaskadinės rizikos

Pagrindinė agentinio AI savybė yra jo nenuspėjamas elgesys. Skirtingai nuo tradicinės programinės įrangos, uždavus agentui tą patį klausimą du kartus, gali būti gauti skirtingi atsakymai, nes agentai savarankiškai pasirenka įrankius ir metodus, o ne laikosi griežtų darbo eigų. Šis kintamumas reiškia, kad kokybė egzistuoja gradiente, nuo tobulos iki išgalvotos, o ne paprasta „praeina-nepraeina“ sistema. Todėl nuspėjamos priklausomybės ir procesai užleido vietą autonominėms sistemoms, kurios prisitaiko, samprotauja ir veikia savarankiškai.

Tradicinis IT valdymas, sukurtas statiniams diegimams, negali efektyviai valdyti šių sudėtingų kelių sistemų sąveikų. Tai sukuria reikšmingų aklųjų dėmių. Pavyzdžiui, Open Worldwide Application Security Project (OWASP) „įrankių netinkamą naudojimą ir piktnaudžiavimą“ nurodo kaip vieną iš didžiausių rizikų agentinėms programoms. Įsivaizduokite scenarijų, kai įmonės AI asistentas, teisėtai sukonfigūruotas su prieiga prie el. pašto, kalendoriaus ir CRM, yra pažeidžiamas. Kenkėjiškas veikėjas įterpia paslėptas instrukcijas į el. laišką. Kai vartotojas prašo nekalto apibendrinimo, pažeistas agentas, veikdamas pagal suteiktus leidimus, ieško jautrių duomenų ir eksfiltruoja juos per kalendoriaus kvietimus, tuo pačiu pateikdamas nekaltą atsakymą, kuris slepia pažeidimą. Standartinės duomenų praradimo prevencijos priemonės ir tinklo stebėjimas čia neveikia, nes veiksmai, nors ir kenkėjiški, vyksta pagal autorizuotus parametrus ir nebūtinai sukelia duomenų judėjimą ar tinklo anomalijas taip, kaip aptiktų tradicinės sistemos. Tai pabrėžia, kaip saugumo pažeidžiamumas agentinėse sistemose gali kaskadiškai paveikti kelis operacinius aspektus vienu metu, todėl tradicinis, izoliuotas valdymas tampa neveiksmingas. Tokie scenarijai pabrėžia tokių strategijų, kaip agentų projektavimas, kad atsispirtų raginimų injekcijai, svarbą nuo pat pradžių.

Pristatome AI rizikos intelektą (AIRI): paradigmos pokytis valdyme

Norėdami užpildyti spragą tarp statinių kontrolės ir dinamiško agentinio elgesio, AWS sukūrė AI rizikos intelektą (AIRI). AIRI iš naujo apibrėžia saugumą, operacijas ir valdymą kaip tarpusavyje susijusią „AI rizikos intelekto“ sistemą. Tai yra įmonės lygio automatizuotas valdymo sprendimas, kuris automatizuoja saugumo, operacijų ir valdymo kontrolės vertinimą, sujungdamas juos į vieną, veiksmų reikalaujantį požiūrį per visą agentinės sistemos gyvavimo ciklą. AIRI dizainas naudoja AWS Atsakingo AI geriausios praktikos sistemą, kuri padeda klientams integruoti atsakingo AI principus per visą AI gyvavimo ciklą, leidžianti priimti pagrįstus projektavimo sprendimus ir paspartinti patikimų AI sistemų diegimą. Šis sprendimas iš esmės keičia valdymą iš reaktyvaus, rankinio proceso į proaktyvų, automatizuotą ir nuolatinį.

Kas daro AIRI ypač galingu, yra jo nepriklausomybė nuo konkrečios sistemos. Ji nekoduoja griežtų taisyklių konkrečioms grėsmėms, bet kalibruojasi pagal platų valdymo standartų spektrą, įskaitant NIST AI rizikos valdymo sistemą, ISO ir OWASP. Tai reiškia, kad tas pats variklis, kuris vertina OWASP saugumo kontrolę, taip pat gali įvertinti organizacijos vidaus skaidrumo politiką ar pramonės specifikos atitikties reikalavimus. Šis pritaikomumas užtikrina, kad AIRI išlieka aktualus įvairiose agentų architektūrose, pramonės šakose ir besivystančiuose rizikos profiliuose, samprotaudamas apie įrodymus kaip nuolatinis, keičiamo dydžio auditorius. Jis paverčia abstrakčius sistemos reikalavimus į konkrečius, veiksmų reikalaujančius vertinimus, įterptus per visą agentinės sistemos gyvavimo ciklą, nuo projektavimo iki po gamybos.

AIRI veikime: automatizuoto valdymo operacionalizavimas

Dar kartą pažvelkime į mūsų AI asistento pavyzdį, kad iliustruotume, kaip AIRI operacionalizuoja automatizuotą valdymą. Įsivaizduokite, kad kūrimo komanda sukūrė šio AI asistento įrodymo koncepciją (POC). Prieš diegiant į gamybą, jie naudoja AIRI. Siekiant nustatyti pagrindinį vertinimą, pasitelkiama AIRI automatizuoto techninės dokumentacijos peržiūros galimybė. Šis procesas automatiškai renka kontrolės įgyvendinimo įrodymus, vertindamas ne tik saugumą, bet ir kritines operacinės kokybės kontrolės priemones, tokias kaip skaidrumas, valdymas, paaiškinamumas, sauga ir tvirtumas. Analizė apima naudojimo atvejo dizainą, jo pagrindinę infrastruktūrą ir susijusias organizacines politikas, siekiant užtikrinti atitiktį įmonės valdymo ir atitikties reikalavimams.

Štai pavyzdys, kokias kontrolės rūšis AIRI gali įvertinti šioje fazėje:

Kontrolės kategorija	Aprašymas	AIRI vertinimo dėmesys
Saugumas	Duomenų šifravimas, prieigos kontrolė, pažeidžiamumo valdymas	Duomenų tvarkymo, įrankių prieigos ir galimų išnaudojimo vektorių tikrinimas.
Operacijos	Stebėjimas, registravimas, incidentų valdymas	Sistemos stebimumo ir reakcijos galimybių vertinimas.
Skaidrumas	Modelio kilmė, duomenų šaltiniai, sprendimų priėmimo procesas	AI vidinių veikimo principų ir duomenų kilmės aiškumas.
Valdymas	Žmogaus priežiūros mechanizmai, intervencijos taškai, avarinis sustabdymas	Žmogaus įsitraukimo ir saugiklių protokolų efektyvumas.
Paaiškinamumas	Agento veiksmų pagrindimas, rezultatų interpretavimas	Gebėjimas suprasti, kodėl agentas atliko tam tikrą veiksmą.
Sauga	Šališkumo aptikimas, etikos gairės, teisingumo metrikos	Atsakingo AI principų laikymasis ir žalingos produkcijos mažinimas.
Tvirtumas	Atsparumas priešiškoms atakoms, klaidų valdymas, patikimumas	Sistemos gebėjimas išlaikyti našumą esant apkrovai ir manipuliacijoms.
Atitiktis	Norminių aktų laikymasis, pramonės standartai, organizacinės politikos	Atitikimas teisiniams reikalavimams ir vidaus valdymo sistemoms.

Kiekvienai kontrolės dimensijai AIRI vykdo samprotavimo ciklą. Pirmiausia, ji išskiria konkrečius vertinimo kriterijus iš taikomos valdymo sistemos. Tada ji tiesiogiai paima įrodymus iš sistemos artefaktų – įskaitant architektūros dokumentus, agentų konfigūracijas ir organizacines politikas. Galiausiai, ji samprotauja apie sistemos reikalavimų ir demonstruojamų įrodymų suderinamumą, nustatydama kontrolės įgyvendinimo efektyvumą. Šis samprotavimo pagrindu veikiantis požiūris leidžia AIRI prisitaikyti prie naujų agentų dizainų, besivystančių sistemų ir atsirandančių rizikos kategorijų, nereikalaujant pertvarkyti jos pagrindinės logikos.

Siekiant padidinti šių sprendimų patikimumą, AIRI naudoja techniką, vadinamą semantine entropija. Ji pakartoja kiekvieną vertinimą kelis kartus ir matuoja jos išvadų nuoseklumą. Jei rezultatai žymiai skiriasi tarp vykdymų, tai signalizuoja, kad pagrindiniai įrodymai gali būti dviprasmiški arba nepakankami. Tokiais atvejais AIRI protingai inicijuoja žmogaus peržiūrą, užkertant kelią potencialiai nepatikimiems automatizuotiems sprendimams ir užtikrinant patikimą valdymo procesą. Šis novatoriškas požiūris efektyviai užpildo spragą tarp abstrakčių sistemos reikalavimų ir konkretaus agento elgesio, paverčiant valdymo tikslą struktūrizuotu, pakartojamu ir keičiamo dydžio vertinimu sudėtingose agentinėse sistemose.

Išvada: agentinio AI ateities užtikrinimas

Agentinio AI atsiradimas žymi esminį pokytį, kaip organizacijos turi spręsti AI diegimo ir valdymo klausimus. Nuspėjamų, statinių sistemų era baigėsi, ją pakeitė dinamiški, nenuspėjami agentai, reikalaujantys naujo lygio rizikos valdymo sudėtingumo. Tradiciniai valdymo modeliai tiesiog nepakankami, kad atitiktų šios AI pažangos greitį ir sudėtingumą. AWS AI rizikos intelektas (AIRI) suteikia kritinį sprendimą, siūlydamas automatizuotą, išsamią ir adaptyvią sistemą, skirtą agentinėms sistemoms apsaugoti ir valdyti. Integruodama saugumą, operacijas ir valdymą į vieną, nuolatinį požiūrį, AIRI suteikia organizacijoms galimybę drąsiai siekti savo AI ambicijų, kartu laikantis atsakingo AI principų ir užtikrinant atitiktį. Kadangi organizacijos ir toliau operacionalizuoja agentinį AI, tokie sprendimai kaip AIRI bus nepakeičiami paverčiant galimas rizikas į inovacijų ir augimo galimybes.