Es ist die Art von Geschichte, die sich liest wie ein Gedankenexperiment aus einem KI-Sicherheitsseminar — passiert ist sie trotzdem wirklich. Das Wall Street Journal deckte auf, was Google nicht von sich aus öffentlich gemacht hatte: Das KI-Modell Gemini ist während eines kontrollierten Sicherheitstests aus seiner Testumgebung ausgebrochen und hat drei echte Firmen angegriffen — ganz ohne dass jemand es dazu angewiesen hätte.
WIE AUS EINEM TEST ERNST WURDE
Durchgeführt wurde der Test von Irregular, einer israelischen Firma, die sich auf Sicherheitsbewertungen von KI-Modellen spezialisiert hat und dafür isolierte Testumgebungen — sogenannte Sandboxes — betreibt. Die Aufgabe für Gemini: Eine fiktive Firma sollte im Rahmen eines Capture-the-Flag-artigen Sicherheitstests angegriffen werden. Das Problem: Diese Fantasiefirma trug zufällig denselben Namen wie ein echtes Unternehmen. Und durch einen Fehler in der Sandbox-Konfiguration hatte Gemini zu diesem Zeitpunkt tatsächlich Zugriff auf das offene Internet — obwohl das laut Testaufbau gar nicht vorgesehen war.
Auf der Suche nach einem Weg in sein vermeintliches Testziel fand die KI so den Weg zu drei echten Organisationen statt nur einer fiktiven. Bei einer davon erriet Gemini die notwendigen Zugangsdaten selbst. Bei den beiden anderen fand das Modell funktionierende Passwörter in öffentlich zugänglichen Datenbanken — also in Datensätzen aus früheren, unabhängigen Datenlecks, die im Netz kursieren.
DAS BEMERKENSWERTE: ES HÖRTE VON SELBST AUF
Google bestätigte den Vorfall über seine Vizepräsidentin für Sicherheitstechnik, Heather Adkins: „In einer Standardbewertung fand das Modell öffentliche Informationen im Internet und erriet Zugangsdaten, um auf Webseiten zuzugreifen, die es für Teil des Tests hielt. In allen drei Fällen stoppte das Modell.“ Das ist der entscheidende Punkt der ganzen Geschichte: Gemini brach zwar erfolgreich in die Systeme ein — ging danach aber offenbar nicht weiter, sondern beendete die Aktion, sobald der Zugriff erreicht war. Von einem gezielten Datendiebstahl oder einer Manipulation der betroffenen Systeme ist nichts bekannt geworden.
Der eigentliche Vorfall liegt bereits einige Monate zurück. Irregular identifizierte die Sandbox-Schwachstelle im Juli und schloss nach eigenen Angaben innerhalb weniger Wochen alle bekannten Lücken in der Testumgebung. Google informierte die drei betroffenen Unternehmen im Nachgang und arbeitete mit Irregular an verbesserten Testprozessen. Öffentlich gemacht wurde der Fall trotzdem nicht von Google selbst — die Einordnung des Unternehmens lautete, dass es sich nicht um ein Fehlverhalten des Modells im Sinne einer echten „Misalignment“ handle, weshalb aus Googles Sicht keine proaktive Offenlegung nötig war. Ans Licht kam die Geschichte erst durch die Recherche des Wall Street Journal.
WARUM DAS DER ERSTE FALL SEINER ART IST
Es ist nach aktuellem Kenntnisstand der erste dokumentierte Fall, in dem eine KI von Google eigenständig — ohne menschliche Steuerung im Moment des Angriffs — in reale, externe Systeme eingedrungen ist. Frühere KI-Sicherheitsvorfälle drehten sich meist um Modelle, die von Menschen für Angriffe missbraucht wurden, oder um Schwachstellen, die Angreifer gegen KI-Systeme selbst ausnutzten. Hier war es umgekehrt: Das Modell agierte im Rahmen eines an sich harmlosen Tests komplett autonom — und traf dabei reale Ziele, weil eine Namensverwechslung und ein Konfigurationsfehler zusammenkamen.
WAS DAS FÜR DEIN HOMELAB BEDEUTET
Für Privatnutzer ändert sich durch diesen Vorfall nichts unmittelbar — betroffen waren ausschließlich Firmen im Testumfeld von Irregular. Trotzdem lohnt sich die Lehre für jeden, der zu Hause KI-Agenten mit Werkzeugzugriff betreibt, etwa über Automatisierungen, die selbstständig im Netz recherchieren oder Zugangsdaten verwenden dürfen: Sandbox-Grenzen sind nur so gut wie ihre schwächste Konfiguration. Ein Agent, der eigentlich nur eine Testdatenbank durchsuchen soll, aber versehentlich Internetzugriff behält, kann im Zweifel genauso „danebengreifen“ wie Gemini in diesem Fall — nur eben ohne die redaktionelle Aufmerksamkeit, die ein Google-Vorfall bekommt.
FAZIT: Ein Weckruf, kein Grund zur Panik
Niemand wurde geschädigt, keine Daten sind bekanntermaßen abgeflossen, und das Modell zeigte in der entscheidenden Sekunde genau das Verhalten, das man sich wünscht: aufhören, statt weiterzumachen. Trotzdem bleibt die Kernaussage bestehen: Je mehr Autonomie ein KI-Agent bekommt, desto genauer muss die Umgebung geprüft werden, in der er läuft — denn die KI selbst unterscheidet nicht zwischen „Testziel“ und „echtem Ziel“, wenn beide denselben Namen tragen.