BSI entwickelt Prüfanforderungen für KI-Agenten

Das Bundesamt für Sicherheit in der Informationstechnik lässt neue Prüfanforderungen für agentische KI entwickeln. Das Projekt PRAKI soll untersuchen, wie sich teilautonome und autonome KI-Agenten systematisch sicherheitstechnisch bewerten lassen.

Für Unternehmen kommt das Thema zur richtigen Zeit. KI-Agenten sollen zunehmend Anwendungen aufrufen, Daten verarbeiten und Aktionen ausführen. Damit steigen die Anforderungen an Identitäten, Berechtigungen und Kontrolle. Wie Anbieter solche Systeme bereits für den Unternehmenseinsatz vorbereiten, zeigt auch der IT-Dock-Beitrag zu Microsoft KI-Agenten.

BSI lässt Sicherheit von KI-Agenten untersuchen

Das Projekt trägt den vollständigen Titel „Agentic AI: Prüfanforderungen für LLM-basierte agentische künstliche Intelligenz“, kurz PRAKI. Auftraggeber ist das BSI. Die Ausschreibung sieht eine Laufzeit von 18 Monaten vor.

Nach Angaben in den Vergabeunterlagen reichen bestehende Prüfkataloge und Standards des BSI für die neuen Einsatzmöglichkeiten agentischer KI bislang nicht aus. Deshalb sollen zunächst wichtige Anwendungsfälle identifiziert werden. Anschließend sollen dafür Prüfanforderungen entstehen, die sich möglichst auf weitere Szenarien übertragen lassen.

Die Vergabe läuft aktuell. Der Datensatz der e-Vergabe nennt den 21. September 2026 als Angebotsfrist. Ein Zuschlag wurde bislang nicht veröffentlicht. Damit befindet sich das Projekt noch vor der eigentlichen fachlichen Umsetzung.

Warum KI-Agenten neue Sicherheitsfragen aufwerfen

Agentische KI unterscheidet sich technisch von klassischen Chatbots. Ein Sprachmodell beantwortet zunächst Anfragen oder erzeugt Inhalte. Ein KI-Agent kann darüber hinaus Werkzeuge nutzen, APIs ansprechen und mehrere Arbeitsschritte selbstständig kombinieren.

Dadurch wächst der mögliche Aktionsradius. Ein Agent kann beispielsweise auf Dateien zugreifen, Informationen aus verschiedenen Systemen zusammenführen oder Aktionen in Geschäftsanwendungen auslösen. Je nach Architektur können auch externe Dienste oder andere Agenten eingebunden sein.

Für IT-Abteilungen entstehen dadurch zusätzliche Kontrollpunkte. Entscheidend ist nicht mehr nur, welche Informationen ein Modell sehen darf. Unternehmen müssen auch bestimmen, welche Aktionen ein Agent ausführen kann und unter welcher Identität diese erfolgen.

Diese Entwicklung lässt sich bereits bei kommerziellen Plattformen beobachten. Nutanix adressiert etwa mit einem zentralen Gateway die Kontrolle von Zugriffen zwischen Agenten, Werkzeugen und Datenquellen. Der IT-Dock-Beitrag zu Nutanix Enterprise AI 2.8 ordnet diesen Ansatz ein.

Welche Prüfanforderungen das BSI entwickeln lassen will

Konkrete Sicherheitskontrollen hat das BSI mit PRAKI noch nicht veröffentlicht. Die Ausschreibung beschreibt zunächst die methodische Aufgabe. Wichtige Einsatzszenarien sollen ausgewählt, dafür Prüfanforderungen entwickelt und anschließend auf weitere Anwendungsfälle übertragen werden.

Damit wäre es verfrüht, einzelne technische Maßnahmen bereits als künftige BSI-Vorgaben darzustellen. Themen wie Berechtigungsmodelle, Protokollierung oder die Begrenzung autonomer Aktionen sind für den Betrieb agentischer Systeme relevant. Welche davon später Bestandteil der PRAKI-Ergebnisse werden, ist jedoch noch offen.

Ergebnisse sollen in Grundschutz++ einfließen

Für Unternehmen besonders interessant ist der geplante Anschluss an Grundschutz++. Laut Ausschreibungsunterlagen sollen die Ergebnisse direkt in die sogenannte Stand der Technik Bibliothek einfließen, aus der sich Grundschutz++ speist.

Damit könnte das Projekt über die reine Forschung hinaus praktische Bedeutung gewinnen. Wenn daraus konkrete Prüfmuster entstehen, könnten sie künftig als Orientierung für die Bewertung agentischer Systeme dienen.

Ein verbindlicher Prüfkatalog existiert derzeit jedoch nicht. Auch Zeitpunkt und konkrete Form der späteren Veröffentlichung sind aus den öffentlich zugänglichen Unterlagen noch nicht ersichtlich.

Was Unternehmen bei KI-Agenten bereits absichern können

Unabhängig von den späteren BSI-Ergebnissen können IT-Verantwortliche bereits heute prüfen, wie Agenten in bestehende Sicherheitsstrukturen eingebunden werden.

Wesentlich sind nachvollziehbare Identitäten und möglichst begrenzte Berechtigungen. Ein Agent sollte nur auf Systeme, Werkzeuge und Daten zugreifen können, die für seine Aufgabe erforderlich sind. Aktionen mit höherem Risiko können zusätzliche Freigaben benötigen.

Ebenso wichtig ist die Protokollierung. Unternehmen sollten nachvollziehen können, welcher Agent wann auf welche Ressourcen zugegriffen und welche Aktionen ausgelöst hat. Das erleichtert sowohl Sicherheitsanalysen als auch interne Governance.

Hinzu kommen Anforderungen aus anderen Regelwerken. Seit August gelten beispielsweise neue Transparenzpflichten des EU AI Act für bestimmte KI-Systeme und KI-Inhalte. Die Details dazu finden Sie im Beitrag zu den EU AI Act Pflichten.

BSI KI-Agenten rücken stärker in den Security-Fokus

Mit PRAKI reagiert das BSI auf eine Entwicklung, die sich bereits in vielen Unternehmensplattformen abzeichnet. KI-Agenten sollen nicht mehr nur Informationen aufbereiten, sondern zunehmend selbstständig mit Anwendungen und Daten arbeiten.

Für Unternehmen wird dadurch die technische Kontrolle wichtiger. Identitäten, Berechtigungen, Datenzugriffe und ausgeführte Aktionen müssen gemeinsam betrachtet werden. Welche Prüfanforderungen das BSI daraus ableitet, wird sich erst im weiteren Verlauf des Projekts zeigen.

Weitere Entwicklungen zu KI, Security und Infrastruktur ordnet IT-Dock regelmäßig im Newsletter ein: https://entwicklung.it-dock.de/#newsletter.