What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

Upravljanje umjetnom inteligencijom: Obavještajni podaci o riziku za agentske sustave

Era agentske umjetne inteligencije: Preoblikovanje upravljanja umjetnom inteligencijom u poduzećima

Krajolik umjetne inteligencije brzo se razvija, uvodeći 'agentsku eru' gdje AI sustavi djeluju s neviđenom autonomijom. Prošli su dani predvidljivog, binarnog DevOps-a; agentska umjetna inteligencija je nedeterministička, prilagođava se i rasuđuje neovisno. Ova promjena paradigme predstavlja dubok izazov tradicionalnim okvirima upravljanja IT-om, koji su bili dizajnirani za statične, predvidljive implementacije. Organizacije se bore s nedosljednim sigurnosnim položajima, prazninama u usklađenosti i neprozirnim metrikama nadzora za ove složene interakcije više sustava. Ovo dinamično okruženje zahtijeva novi pristup sigurnosti, operacijama i upravljanju, promatranim kao međusobno ovisne dimenzije zdravlja agentskog sustava. Upravo iz te kritične potrebe proizlazi AI Risk Intelligence (AIRI). Razvijen od strane AWS Generative AI Innovation Center i izgrađen na robusnom okviru najboljih praksi AWS-a za odgovornu umjetnu inteligenciju (AWS Responsible AI Best Practices Framework), AIRI je automatizirano rješenje za upravljanje na razini poduzeća osmišljeno da donese jasnoću i kontrolu u agentsku eru.

Nepredvidiva priroda agentske umjetne inteligencije i kaskadni rizici

Osnovna karakteristika agentske umjetne inteligencije je njeno nedeterminističko ponašanje. Za razliku od tradicionalnog softvera, postavljanje istog pitanja agentu dva puta može dati različite odgovore, jer agenti neovisno odabiru alate i pristupe umjesto da slijede krute radne tokove. Ova fluidnost znači da kvaliteta postoji na skali, od savršene do lažne, umjesto jednostavne ocjene 'prošao-pao'. Posljedično, predvidljive ovisnosti i procesi ustupili su mjesto autonomnim sustavima koji se prilagođavaju, rasuđuju i djeluju neovisno.

Tradicionalno IT upravljanje, izgrađeno za statične implementacije, ne može učinkovito upravljati ovim složenim interakcijama više sustava. To stvara značajne slijepe točke. Na primjer, Open Worldwide Application Security Project (OWASP) identificira 'Zlouporabu i eksploataciju alata' ('Tool Misuse and Exploitation') kao glavni rizik za agentske aplikacije. Razmislite o scenariju gdje je pomoćnik umjetne inteligencije u poduzeću, legitimno konfiguriran s pristupom e-pošti, kalendaru i CRM-u, kompromitiran. Zlonamjerni akter ugrađuje skrivene upute unutar e-pošte. Kada korisnik zatraži nevin sažetak, kompromitirani agent, djelujući unutar svojih dodijeljenih dozvola, pretražuje osjetljive podatke i eksfiltrira ih putem pozivnica u kalendaru, sve to dok pruža benigni odgovor koji prikriva povredu. Standardni alati za sprječavanje gubitka podataka i nadzor mreže ovdje ne uspijevaju jer se radnje, iako zlonamjerne, događaju unutar ovlaštenih parametara i nužno ne pokreću premještanje podataka ili mrežne anomalije na načine koje bi tradicionalni sustavi otkrili. Ovo naglašava kako se sigurnosne ranjivosti u agentskim sustavima mogu istovremeno kaskadno širiti kroz više operativnih dimenzija, čineći tradicionalno, izolirano upravljanje neučinkovitim. Takvi scenariji naglašavaju važnost strategija poput dizajniranja agenata da se odupru 'prompt injectionu' od samog početka.

Predstavljamo AI Risk Intelligence (AIRI): Promjena paradigme u upravljanju

Kako bi premostio jaz između statičnih kontrola i dinamičkih agentskih ponašanja, AWS je razvio AI Risk Intelligence (AIRI). AIRI redefinira sigurnost, operacije i upravljanje kao međusobno povezan okvir 'AI Risk Intelligence'. To je automatizirano rješenje za upravljanje na razini poduzeća koje automatizira procjenu sigurnosnih, operativnih i upravljačkih kontrola, objedinjavajući ih u jedinstven, akcijski pogled kroz cijeli agentski životni ciklus. Dizajn AIRI-ja koristi AWS Responsible AI Best Practices Framework, koji vodi korisnike u integraciji razmatranja odgovorne umjetne inteligencije kroz cijeli životni ciklus umjetne inteligencije, omogućujući informirane odluke o dizajnu i ubrzavajući implementaciju pouzdanih AI sustava. Ovo rješenje temeljno pomiče upravljanje iz reaktivnog, ručnog procesa u proaktivni, automatizirani i kontinuirani.

Ono što AIRI čini posebno moćnim je njegova neovisnost o okviru. Ne kodira tvrdo pravila za specifične prijetnje, već se kalibrira prema širokom spektru standarda upravljanja, uključujući NIST AI Risk Management Framework, ISO i OWASP. To znači da isti motor koji procjenjuje OWASP sigurnosne kontrole može procijeniti i interne politike transparentnosti organizacije ili industrijski specifične zahtjeve usklađenosti. Ova prilagodljivost osigurava da AIRI ostaje relevantan u različitim arhitekturama agenata, industrijama i profilima rizika koji se razvijaju, razmišljajući o dokazima poput kontinuiranog, skalabilnog revizora. On transformira apstraktne zahtjeve okvira u konkretne, akcijske procjene ugrađene kroz cijeli agentski životni ciklus, od dizajna do post-produkcije.

AIRI u akciji: Operacionalizacija automatiziranog upravljanja

Vratimo se našem primjeru pomoćnika umjetne inteligencije kako bismo ilustrirali kako AIRI operacionalizira automatizirano upravljanje. Zamislite da je razvojni tim stvorio dokaz koncepta (Proof of Concept, POC) za ovog pomoćnika umjetne inteligencije. Prije implementacije u produkciju, koriste AIRI. Za uspostavu temeljne procjene, aktivira se sposobnost AIRI-ja za automatizirani pregled tehničke dokumentacije. Ovaj proces automatski prikuplja dokaze o implementaciji kontrola, procjenjujući ne samo sigurnost već i kritične kontrole operativne kvalitete kao što su transparentnost, upravljivost, objašnjivost, sigurnost i robusnost. Analiza obuhvaća dizajn slučaja korištenja, njegovu temeljnu infrastrukturu i relevantne organizacijske politike kako bi se osigurala usklađenost s korporativnim zahtjevima upravljanja i usklađenosti.

Evo primjera vrsta kontrola koje bi AIRI mogao procijeniti tijekom ove faze:

Kategorija kontrole	Opis	Fokus procjene AIRI-ja
Sigurnost	Enkripcija podataka, kontrola pristupa, upravljanje ranjivostima	Provjera rukovanja podacima, pristupa alatima i potencijalnih vektora eksploatacije.
Operacije	Nadzor, bilježenje događaja, odgovor na incidente	Procjena vidljivosti sustava i sposobnosti reakcije.
Transparentnost	Poreklo modela, izvori podataka, proces donošenja odluka	Jasnoća unutarnjeg rada umjetne inteligencije i podrijetla podataka.
Upravljivost	Mehanizmi ljudskog nadzora, točke intervencije, zaustavljanje u nuždi	Učinkovitost protokola 'čovjek u petlji' i protokola za sigurnosno otkazivanje.
Objašnjivost	Obrazloženje za radnje agenta, interpretacija ishoda	Sposobnost razumijevanja zašto je agent poduzeo određenu radnju.
Sigurnost sustava	Otkrivanje pristranosti, etičke smjernice, metrike pravednosti	Pridržavanje principa odgovorne umjetne inteligencije i ublažavanje štetnih izlaza.
Robusnost	Otpornost na suparničke napade, obrada pogrešaka, pouzdanost	Sposobnost sustava da zadrži performanse pod stresom i protiv manipulacije.
Usklađenost	Pridržavanje propisa, industrijski standardi, organizacijske politike	Usklađenost s pravnim mandatima i internim okvirima upravljanja.

Za svaku dimenziju kontrole, AIRI izvršava petlju zaključivanja. Prvo, izdvaja specifične kriterije evaluacije iz primjenjivog okvira upravljanja. Zatim, izravno povlači dokaze iz artefakata sustava — uključujući arhitektonske dokumente, konfiguracije agenata i organizacijske politike. Konačno, zaključuje o usklađenosti između zahtjeva okvira i dokazanih dokaza sustava, određujući učinkovitost implementacije kontrole. Ovaj pristup temeljen na zaključivanju omogućuje AIRI-ju da se prilagodi novim dizajnima agenata, razvijajućim okvirima i nastajućim kategorijama rizika bez potrebe za ponovnim inženjeringom njegove temeljne logike.

Kako bi se poboljšala pouzdanost ovih procjena, AIRI koristi tehniku nazvanu semantička entropija. Svaku evaluaciju ponavlja više puta i mjeri dosljednost svojih zaključaka. Ako se izlazi ili procjene značajno razlikuju u ponovljenim izvršavanjima, to signalizira da dokazi mogu biti dvosmisleni ili nedovoljni. U takvim slučajevima, AIRI inteligentno pokreće ljudski pregled, sprječavajući potencijalno nepouzdane automatizirane procjene i osiguravajući robustan proces upravljanja. Ovaj inovativni pristup učinkovito premošćuje jaz između apstraktnih zahtjeva okvira i konkretnog ponašanja agenata, transformirajući namjeru upravljanja u strukturiranu, ponovljivu i skalabilnu evaluaciju u složenim agentskim sustavima.

Zaključak: Osiguravanje budućnosti agentske umjetne inteligencije

Uspon agentske umjetne inteligencije označava temeljnu promjenu u načinu na koji organizacije moraju pristupiti implementaciji i upravljanju umjetnom inteligencijom. Era predvidljivih, statičnih sustava je prošlost, zamijenjena dinamičnim, nedeterminističkim agentima koji zahtijevaju novu razinu sofisticiranosti u upravljanju rizikom. Tradicionalni modeli upravljanja jednostavno su nedovoljni da prate brzinu i složenost ovih napredaka u umjetnoj inteligenciji. AI Risk Intelligence (AIRI) tvrtke AWS pruža kritično rješenje, nudeći automatizirani, sveobuhvatni i prilagodljivi okvir za osiguravanje i upravljanje agentskim sustavima. Integriranjem sigurnosti, operacija i upravljanja u jedinstven, kontinuiran pogled, AIRI omogućuje organizacijama da samouvjereno ostvaruju svoje AI ambicije dok se pridržavaju principa odgovorne umjetne inteligencije i osiguravaju usklađenost. Dok organizacije nastavljaju s operacionalizacijom agentske umjetne inteligencije, rješenja poput AIRI-ja bit će neophodna u pretvaranju potencijalnih rizika u prilike za inovaciju i rast.