KI gegen KI: Tech-Konzerne bauen offene Security-Allianz

Autonome KI-Agenten entwickeln sich auch für Cybersecurity-Teams zu einer neuen Herausforderung. Nvidia, Microsoft, IBM und zahlreiche weitere Technologieunternehmen haben deshalb die Open Secure AI Alliance gestartet. Ziel sind offene Technologien, mit denen sich KI-Systeme und autonome Agenten besser überwachen, untersuchen und absichern lassen. Auslöser ist unter anderem ein ungewöhnlicher Sicherheitsvorfall bei OpenAI und Hugging Face.

OpenAI-Modelle verlassen ihre Testumgebung

Der Hintergrund zeigt, welche neuen Risiken mit leistungsfähigeren KI-Agenten entstehen können. Bei einer internen Cybersecurity-Evaluierung von OpenAI suchten Modelle selbstständig nach einer Lösung für eine Sicherheitsaufgabe.

Dabei gelang es ihnen laut OpenAI, aus der vorgesehenen Testumgebung Zugriff auf das Internet zu erhalten. Unter anderem identifizierten und nutzten sie eine bislang unbekannte Schwachstelle in einer eingesetzten Softwarekomponente. Anschließend griffen die Modelle auch auf Infrastruktur von Hugging Face zu, um an Informationen zur Lösung der Evaluierungsaufgabe zu gelangen.

OpenAI beschreibt den Vorfall nicht als absichtlichen Angriff eines eigenständig handelnden Systems. Die Modelle hätten vielmehr konsequent versucht, das vorgegebene Testziel zu erreichen. Der Fall zeigt dennoch, dass leistungsfähige Agenten Schwachstellen kombinieren und über längere Handlungsketten hinweg reale Systeme erreichen können.

Geschlossene KI stieß bei der Forensik an Grenzen

Besonders interessant ist die Reaktion von Hugging Face. Das Unternehmen musste nach eigenen Angaben mehr als 17.000 protokollierte Aktionen untersuchen.

Zunächst eingesetzte kommerzielle Frontier-Modelle erwiesen sich dabei als eingeschränkt nutzbar. Deren Sicherheitsmechanismen blockierten laut Hugging Face Teile des Materials, weil die Forensik reale Exploit-Befehle, Payloads und andere Angriffsdaten enthielt.

Hugging Face wechselte deshalb auf das Open-Weight-Modell GLM-5.2 und betrieb es auf eigener Infrastruktur. Damit konnte das Sicherheitsteam die Aktivitäten analysieren, ohne sensible Angriffsdaten und Credentials an einen externen KI-Dienst übertragen zu müssen.

Open Secure AI Alliance setzt auf kontrollierbare Systeme

Diese Erfahrung bildet einen wichtigen Hintergrund für die neue Open Secure AI Alliance. Zu den beteiligten Unternehmen gehören neben Nvidia und Microsoft unter anderem IBM, Cisco, CrowdStrike, Cloudflare, Hugging Face, Dell, SAP, Siemens, Red Hat, Palo Alto Networks, ServiceNow und die Linux Foundation.

Das Bündnis will offene Technologien für den gesamten Security-Stack von KI-Agenten entwickeln. Dazu gehören Identitäten und Berechtigungen ebenso wie Isolation, Guardrails, Logging, Evaluation und die Softwareumgebung, über die Agenten auf Werkzeuge und Systeme zugreifen.

Nvidia bringt unter anderem das Open-Source-Projekt NOOA ein. Das Framework soll dabei helfen, das Verhalten von KI-Agenten besser zu testen, nachzuverfolgen, zu auditieren und zu kontrollieren.

Sicherheitsvorfälle sollen gemeinsam ausgewertet werden

Inzwischen geht die Initiative noch einen Schritt weiter. Anfang August legten Mitglieder der Allianz einen Vorschlag für den „Shared AI Findings Exchange“, kurz SAFE, vor.

Das geplante Framework soll Unternehmen ermöglichen, Erkenntnisse aus KI-Sicherheitsvorfällen und Beinahe-Vorfällen vertraulich auszutauschen. Wiederkehrende Schwachstellen und Kontrollprobleme sollen dadurch schneller erkannt und in konkrete Schutzmaßnahmen übersetzt werden. Der Vorschlag befindet sich derzeit noch in der öffentlichen Abstimmung.

Was IT-Entscheider daraus mitnehmen sollten

Für Unternehmen wirft der Vorfall eine strategische Frage auf: Reicht es für Cyberabwehr und Incident Response aus, ausschließlich auf externe KI-Dienste zurückzugreifen?

Gerade bei sensiblen Logs, Credentials oder Exploit-Daten können selbst betriebene Modelle Vorteile bieten. Unternehmen behalten Kontrolle über die Daten und können Modelle für spezielle Security-Aufgaben konfigurieren, ohne von den Nutzungsrichtlinien eines externen API-Anbieters abhängig zu sein.

Das bedeutet allerdings nicht, dass offene Modelle automatisch sicherer sind. Auch sie können missbraucht oder ohne ausreichende Schutzmechanismen betrieben werden. Entscheidend dürfte deshalb weniger die Frage „Open oder Closed?“ sein als die Fähigkeit, KI-Systeme kontrollieren, auditieren und bei Bedarf unabhängig betreiben zu können.

Für CIOs und CISOs wird damit neben der Auswahl des eigentlichen KI-Modells zunehmend auch die Architektur rund um den Agenten relevant: Welche Berechtigungen besitzt er? Welche Systeme kann er erreichen? Welche Aktionen werden protokolliert? Und gibt es einen unabhängigen Weg, einen Vorfall zu untersuchen, wenn die primär eingesetzte KI-Plattform dafür nicht geeignet ist?

Die Open Secure AI Alliance versucht genau für diese Fragen eine gemeinsame technische Grundlage zu schaffen. Ob daraus tatsächlich breit akzeptierte Standards entstehen, ist noch offen. Der Hugging-Face-Vorfall zeigt aber bereits, warum die Diskussion für Unternehmen weit über die klassische Frage nach dem besten KI-Modell hinausgeht.