What is agentic AI and why does it pose new governance challenges?

Agentic AI refers to artificial intelligence systems that operate non-deterministically, meaning they don't follow fixed, predictable patterns. Instead, they adapt, reason, and act independently, selecting different tools and approaches as they work. This contrasts sharply with traditional, static software systems where inputs reliably lead to predictable outputs. This non-deterministic nature challenges traditional governance frameworks, which were designed for predictable deployments, by creating complexities in security, compliance, and observability. Agentic AI can lead to inconsistent security postures and compliance gaps because its actions, even if malicious, might occur within legitimately granted permissions, making detection difficult for standard tools.

What is AI Risk Intelligence (AIRI) and who developed it?

AI Risk Intelligence (AIRI) is an enterprise-grade automated governance solution developed by the AWS Generative AI Innovation Center. It is designed to address the unique governance challenges posed by agentic AI systems. AIRI automates the assessment of security, operations, and governance controls, consolidating them into a single, continuous viewpoint across the entire agentic lifecycle. Its development is guided by the robust AWS Responsible AI Best Practices Framework, aiming to help organizations deploy trusted AI systems by integrating responsible AI considerations from design through post-production.

How does AIRI address 'Tool Misuse and Exploitation' in agentic systems?

AIRI addresses 'Tool Misuse and Exploitation,' an OWASP Top 10 risk for agentic applications, by providing continuous, automated governance that evaluates an agent's actions against its intended scope. Unlike traditional data loss prevention or network monitoring tools that might miss anomalies within authorized permissions, AIRI integrates security directly into how agents operate. It reasons over evidence to determine if an agent's use of its tools, such as email or calendar access, aligns with established governance standards, even if the actions are technically within granted permissions. This allows for early detection of potentially malicious or unintended tool misuse that could lead to data exfiltration or other breaches.

What governance frameworks can AIRI operationalize?

AIRI is framework-agnostic, meaning it can operationalize a wide array of governance standards rather than being limited to a specific set of rules. It transforms frameworks such as the NIST AI Risk Management Framework, ISO standards, and OWASP guidelines from static reference documents into automated, continuous evaluations. This adaptability allows AIRI to calibrate against an organization's specific governance standards, including internal transparency policies and industry-specific compliance requirements, making it applicable across diverse agent architectures, industries, and risk profiles without needing re-engineering for each new context.

How does AIRI utilize 'semantic entropy' in its evaluation process?

AIRI utilizes 'semantic entropy' as a technique to strengthen the reliability of its automated governance judgments. After performing an evaluation of a control, AIRI repeats the assessment multiple times. Semantic entropy then measures the consistency of the conclusions drawn across these repeated runs. If the outputs or judgments vary significantly, it signals that the underlying evidence might be ambiguous or insufficient for a definitive automated determination. In such cases, AIRI intelligently triggers a human review, preventing potentially unreliable automated judgments and ensuring that complex or unclear situations receive necessary human oversight and expertise.

What are the key benefits of implementing AIRI for enterprise AI deployments?

Implementing AIRI provides several key benefits for enterprise AI deployments. It moves organizations from reactive, manual governance to proactive, automated, and continuous oversight of agentic systems. Benefits include achieving a consistent security posture across complex agentic workflows, closing compliance gaps through continuous evaluation against various standards (NIST, ISO, OWASP), and enhancing visibility into agent behavior and risks for business stakeholders. By automating the assessment of security, operations, and governance controls, AIRI allows organizations to scale their AI ambitions confidently, reduce manual audit efforts, and build trust in their AI systems by embedding responsible AI principles throughout the entire lifecycle.

KI-Governance: Risikointelligenz für agentische Systeme

Die Ära der agentischen KI: Neugestaltung der Unternehmens-KI-Governance

Die KI-Landschaft entwickelt sich rasant weiter und läutet eine "agentische Ära" ein, in der KI-Systeme mit beispielloser Autonomie agieren. Vorbei sind die Tage des vorhersehbaren, binären DevOps; agentische KI ist nicht-deterministisch, passt sich an und schlussfolgert unabhängig. Dieser Paradigmenwechsel stellt eine tiefgreifende Herausforderung für traditionelle IT-Governance-Frameworks dar, die für statische, vorhersehbare Bereitstellungen konzipiert wurden. Organisationen kämpfen mit inkonsistenten Sicherheitshaltungen, Compliance-Lücken und undurchsichtigen Beobachtbarkeitsmetriken für diese komplexen Multi-System-Interaktionen. Dieses dynamische Umfeld erfordert einen neuen Ansatz für Sicherheit, Betrieb und Governance, die als voneinander abhängige Dimensionen der Gesundheit agentischer Systeme betrachtet werden. Aus diesem kritischen Bedarf heraus entsteht AI Risk Intelligence (AIRI). Entwickelt vom AWS Generative AI Innovation Center und aufgebaut auf dem robusten AWS Responsible AI Best Practices Framework, ist AIRI eine automatisierte Governance-Lösung auf Unternehmensebene, die entwickelt wurde, um Klarheit und Kontrolle in die agentische Ära zu bringen.

Die unvorhersehbare Natur der agentischen KI und kaskadierende Risiken

Das Kernmerkmal der agentischen KI ist ihr nicht-deterministisches Verhalten. Anders als bei traditioneller Software kann das zweimalige Stellen derselben Frage an einen Agenten unterschiedliche Antworten ergeben, da Agenten Tools und Ansätze unabhängig auswählen, anstatt starren Workflows zu folgen. Diese Fluidität bedeutet, dass Qualität auf einem Gradienten existiert, von perfekt bis fabriziert, anstatt eines einfachen Bestanden/Nicht bestanden. Folglich haben vorhersehbare Abhängigkeiten und Prozesse autonomen Systemen Platz gemacht, die sich unabhängig anpassen, schlussfolgern und handeln.

Traditionelle IT-Governance, die für statische Bereitstellungen konzipiert wurde, kann diese komplexen Multi-System-Interaktionen nicht effektiv verwalten. Dies schafft erhebliche blinde Flecken. Zum Beispiel identifiziert das Open Worldwide Application Security Project (OWASP) "Missbrauch und Ausnutzung von Tools" als ein Top-Risiko für agentische Anwendungen. Stellen Sie sich ein Szenario vor, in dem ein KI-Assistent eines Unternehmens, der rechtmäßig mit Zugriff auf E-Mail, Kalender und CRM konfiguriert ist, kompromittiert wird. Ein böswilliger Akteur bettet versteckte Anweisungen in eine E-Mail ein. Wenn ein Benutzer eine unschuldige Zusammenfassung anfordert, durchsucht der kompromittierte Agent, der innerhalb seiner gewährten Berechtigungen arbeitet, sensible Daten und exfiltriert sie über Kalendereinladungen, während er eine harmlose Antwort liefert, die den Verstoß verschleiert. Standard-Tools zur Verhinderung von Datenverlusten und Netzwerküberwachung versagen hier, weil die Handlungen, obwohl böswillig, innerhalb autorisierter Parameter erfolgen und nicht unbedingt Datenbewegungen oder Netzwerkanomalien auslösen, wie traditionelle Systeme sie erkennen würden. Dies verdeutlicht, wie Sicherheitslücken in agentischen Systemen gleichzeitig über mehrere operative Dimensionen hinweg kaskadieren können, wodurch traditionelle, siloartige Governance ineffektiv wird. Solche Szenarien unterstreichen die Bedeutung von Strategien wie dem Entwerfen von Agenten, die Prompt-Injections widerstehen von Anfang an.

Einführung von AI Risk Intelligence (AIRI): Ein Paradigmenwechsel in der Governance

Um die Lücke zwischen statischen Kontrollen und dynamischen agentischen Verhaltensweisen zu schließen, hat AWS AI Risk Intelligence (AIRI) entwickelt. AIRI definiert Sicherheit, Betrieb und Governance als ein vernetztes "KI-Risikointelligenz"-Framework neu. Es handelt sich um eine automatisierte Governance-Lösung auf Unternehmensebene, die die Bewertung von Sicherheits-, Betriebs- und Governance-Kontrollen automatisiert und sie in einer einzigen, umsetzbaren Sichtweise über den gesamten agentischen Lebenszyklus hinweg konsolidiert. Das Design von AIRI nutzt das AWS Responsible AI Best Practices Framework, das Kunden bei der Integration von Überlegungen zur verantwortungsvollen KI über den gesamten KI-Lebenszyklus hinweg anleitet und fundierte Designentscheidungen ermöglicht sowie die Bereitstellung vertrauenswürdiger KI-Systeme beschleunigt. Diese Lösung verlagert die Governance grundlegend von einem reaktiven, manuellen Prozess zu einem proaktiven, automatisierten und kontinuierlichen.

Was AIRI besonders leistungsfähig macht, ist seine Framework-agnostische Natur. Es kodiert keine Regeln für spezifische Bedrohungen, sondern gleicht sich an eine breite Palette von Governance-Standards an, darunter das NIST AI Risk Management Framework, ISO und OWASP. Das bedeutet, dieselbe Engine, die OWASP-Sicherheitskontrollen bewertet, kann auch die internen Transparenzrichtlinien einer Organisation oder branchenspezifische Compliance-Anforderungen bewerten. Diese Anpassungsfähigkeit gewährleistet, dass AIRI über verschiedene Agentenarchitekturen, Branchen und sich entwickelnde Risikoprofile hinweg relevant bleibt und Beweismittel bewertet wie ein kontinuierlicher, skalierbarer Prüfer. Es verwandelt abstrakte Framework-Anforderungen in konkrete, umsetzbare Bewertungen, die über den gesamten agentischen Lebenszyklus hinweg integriert sind, vom Design bis zur Nachproduktion.

AIRI in Aktion: Automatisierte Governance operationalisieren

Lassen Sie uns unser KI-Assistentenbeispiel noch einmal aufgreifen, um zu veranschaulichen, wie AIRI automatisierte Governance operationalisiert. Stellen Sie sich vor, ein Entwicklungsteam hat einen Proof of Concept (POC) für diesen KI-Assistenten erstellt. Vor der Bereitstellung in der Produktion nutzen sie AIRI. Um eine grundlegende Bewertung zu etablieren, wird die automatisierte technische Dokumentationsprüffunktion von AIRI eingesetzt. Dieser Prozess sammelt automatisch Nachweise über Kontrollimplementierungen und bewertet nicht nur die Sicherheit, sondern auch kritische operative Qualitätskontrollen wie Transparenz, Steuerbarkeit, Erklärbarkeit, Sicherheit und Robustheit. Die Analyse umfasst das Design des Anwendungsfalls, die zugrunde liegende Infrastruktur und relevante Organisationsrichtlinien, um die Ausrichtung an den Governance- und Compliance-Anforderungen des Unternehmens sicherzustellen.

Hier ist ein Beispiel für die Arten von Kontrollen, die AIRI in dieser Phase bewerten könnte:

Kontrollkategorie	Beschreibung	AIRI-Bewertungsschwerpunkt
Sicherheit	Datenverschlüsselung, Zugriffskontrolle, Schwachstellenmanagement	Überprüfung von Datenverarbeitung, Tool-Zugriff und potenziellen Angriffsvektoren.
Betrieb	Überwachung, Protokollierung, Vorfallreaktion	Bewertung der Systembeobachtbarkeit und Reaktionsfähigkeit.
Transparenz	Modellherkunft, Datenquellen, Entscheidungsprozess	Klarheit der internen Funktionsweise der KI und der Datenherkunft.
Steuerbarkeit	Mechanismen der menschlichen Aufsicht, Eingriffspunkte, Not-Aus	Wirksamkeit von Human-in-the-Loop- und Fail-Safe-Protokollen.
Erklärbarkeit	Begründung für Agentenaktionen, Interpretierbarkeit von Ergebnissen	Fähigkeit zu verstehen, warum ein Agent eine bestimmte Aktion ausgeführt hat.
Sicherheit	Voreingenommenheitserkennung, ethische Richtlinien, Fairness-Metriken	Einhaltung der Prinzipien verantwortungsvoller KI und Minderung schädlicher Ergebnisse.
Robustheit	Resilienz gegenüber adversariellen Angriffen, Fehlerbehandlung, Zuverlässigkeit	Fähigkeit des Systems, die Leistung unter Stress und gegenüber Manipulationen aufrechtzuerhalten.
Compliance	Einhaltung von Vorschriften, Industriestandards, Organisationsrichtlinien	Ausrichtung an gesetzlichen Vorgaben und internen Governance-Frameworks.

Für jede Kontrolldimension führt AIRI eine Schlussfolgerungsschleife aus. Zuerst extrahiert es spezifische Bewertungskriterien aus dem anwendbaren Governance-Framework. Als Nächstes zieht es Beweismittel direkt aus den Artefakten des Systems – einschließlich Architekturdokumenten, Agentenkonfigurationen und Organisationsrichtlinien. Schließlich schließt es aus der Übereinstimmung zwischen den Anforderungen des Frameworks und den nachgewiesenen Beweismitteln des Systems und bestimmt die Wirksamkeit der Kontrollimplementierung. Dieser auf Schlussfolgerungen basierende Ansatz ermöglicht es AIRI, sich an neue Agentendesigns, sich entwickelnde Frameworks und aufkommende Risikokategorien anzupassen, ohne eine Neuentwicklung seiner Kernlogik zu erfordern.

Um die Zuverlässigkeit dieser Urteile zu verbessern, wendet AIRI eine Technik namens semantische Entropie an. Es wiederholt jede Bewertung mehrfach und misst die Konsistenz ihrer Schlussfolgerungen. Wenn die Ergebnisse über die Läufe hinweg erheblich variieren, signalisiert dies, dass die Beweismittel möglicherweise mehrdeutig oder unzureichend sind. In solchen Fällen löst AIRI intelligent eine menschliche Überprüfung aus, verhindert potenziell unzuverlässige automatisierte Urteile und stellt einen robusten Governance-Prozess sicher. Dieser innovative Ansatz schließt effektiv die Lücke zwischen abstrakten Framework-Anforderungen und konkretem Agentenverhalten und transformiert die Governance-Absicht in eine strukturierte, wiederholbare und skalierbare Bewertung komplexer agentischer Systeme.

Fazit: Die Zukunft der agentischen KI sichern

Der Aufstieg der agentischen KI markiert einen grundlegenden Wandel in der Art und Weise, wie Organisationen die KI-Bereitstellung und -Governance angehen müssen. Die Ära der vorhersehbaren, statischen Systeme ist vorbei und wurde durch dynamische, nicht-deterministische Agenten ersetzt, die ein neues Maß an Raffinesse im Risikomanagement erfordern. Traditionelle Governance-Modelle sind einfach unzureichend, um mit der Geschwindigkeit und Komplexität dieser KI-Fortschritte Schritt zu halten. AI Risk Intelligence (AIRI) von AWS bietet eine kritische Lösung, die ein automatisiertes, umfassendes und adaptives Framework zur Sicherung und Governance agentischer Systeme bereitstellt. Durch die Integration von Sicherheit, Betrieb und Governance in eine einzige, kontinuierliche Sichtweise ermöglicht AIRI Organisationen, ihre KI-Ambitionen zuversichtlich zu verfolgen, gleichzeitig die Prinzipien verantwortungsvoller KI aufrechtzuerhalten und Compliance sicherzustellen. Da Organisationen weiterhin agentische KI operationalisieren, werden Lösungen wie AIRI unverzichtbar sein, um potenzielle Risiken in Chancen für Innovation und Wachstum zu verwandeln.