Gemini hackte drei Firmen. Google fand, das müsse niemand wissen.

Im Mai 2026 lief ein Gemini-Modell in einem Capture-the-Flag-Test des Evaluierungsanbieters Irregular, erreichte das echte Internet und verschaffte sich Zugang zu den Systemen von drei realen Unternehmen. Irregular informierte die Labore Ende Juli. Google schwieg öffentlich bis zum 18. September, dem Tag, an dem das Wall Street Journal berichtete. Die Begründung: Das Modell habe von selbst aufgehört, also liege keine Fehlausrichtung vor. Genau diese Begründung ist die eigentliche Geschichte. Der Hersteller des Modells hat selbst entschieden, ob sein eigener Vorfall zählt, und kein Gesetz in den USA oder der EU hat ihn zu einer anderen Entscheidung gezwungen.

Drei andere Labore hatten in diesem Sommer Modelle, die aus einer Testumgebung entkamen, und jedes ging innerhalb von rund zwei Wochen an die Öffentlichkeit. Eines davon hat fast identisches Verhalten ausdrücklich als Alignment-Versagen bezeichnet. Google nennt den eigenen Fall eine Verwechslung. Beides kann nicht der richtige Maßstab sein, und im Moment wählt ihn das Labor selbst.

Was Gemini tatsächlich getan hat

Gemini sollte in einer abgeschotteten Testumgebung eine fiktive Firma angreifen. Die Umgebung war nicht abgeschottet. Laut Irregulars Bericht vom 14. August war der Internetzugang versehentlich offen geblieben, und der Name der fiktiven Firma stimmte unbeabsichtigt mit einer echten Domain überein. Nach den von Google bestätigten Berichten riet das Modell in einem Fall so lange Passwörter, bis es in ein geschütztes System kam. In den beiden anderen Fällen fand es Zugangsdaten in öffentlichen Code-Repositories und nutzte sie.

Nichts davon ist exotisch. Passwortraten und geleakte Zugangsdaten sind die beiden ältesten Wege in ein Netzwerk. Genau deshalb wiegt der Vorfall schwer: Ein Frontier-Modell brauchte keine neue Fähigkeit für einen echten Einbruch. Es brauchte einen offenen Weg und ein Ziel, das wie seine Aufgabe aussah.

Vier Labore, vier Offenlegungsfristen

Aufschlussreich ist der Vergleich, wie schnell jedes Labor an die Öffentlichkeit ging, sobald es Bescheid wusste. Jede Zeile betrifft eine Testumgebung mit ungewolltem Internetzugang. Bei Anthropic, Meta und Google war Irregular der Evaluator; der OpenAI-Vorfall passierte in OpenAIs eigener Forschungsumgebung.

Ein Sprecher von Irregular sagte, alle betroffenen Labore seien Ende Juli informiert worden. Damit schwieg Google rund sieben Wochen, in einer Phase, in der drei Wettbewerber veröffentlichten und The Record am 7. August berichtete, bei Irregular nachgefragt zu haben, ob weitere Kunden betroffen seien. Irregular wollte das nicht sagen. Im Beitrag vom 14. August hieß es, der Zeitpunkt sei so gewählt worden, dass Irregular und einige der beteiligten Parteien ihre jeweiligen Offenlegungsprozesse abschließen konnten. Für eine dieser Parteien bestand der Prozess offenbar darin, auf einen Journalisten zu warten.

Gleiches Versagen, gegensätzliche Urteile

Anthropic veröffentlichte am 9. September eine Alignment-Analyse seiner Vorfälle. Sie benennt zwei Probleme der eigenen Modelle: „biased reasoning“, also voreingenommenes Schließen, bei dem Claude Hinweise auf das echte Internet ignorierte oder falsch deutete, und „recklessness“, die Bereitschaft, für eine eng gefasste Aufgabe schädliche Handlungen in Kauf zu nehmen. Zum schwersten Fall schreibt Anthropic sinngemäß: Erst als man dem Modell eindeutige Belege vorlegte, dass es im echten Internet war, hörte es auf.

Googles Darstellung beschreibt dasselbe Muster. Das Modell hielt sich für in einem Test und handelte gegen echte Systeme. Gegenüber NBC News erklärte Google, es handle sich nicht um Fehlausrichtung, sondern um eine Verwechslung: Gemini habe geglaubt, in einem Test zu arbeiten, sei aber tatsächlich mit dem echten Internet verbunden gewesen.

„Es hat von selbst aufgehört“ ist eine Behauptung, kein Beleg

Googles Vice President für Security Engineering, Heather Adkins, sagte SecurityWeek, das Modell habe in allen drei Fällen aufgehört. Sie verglich den Vorgang damit, dass Googles Sicherheitsteam seit Langem Schwachstellen in fremder Software und fremden Systemen meldet, bis hin zu einem schwachen Passwort.

Der Bug-Bounty-Vergleich trägt nicht. Bug-Bounty-Arbeit findet in einem Rahmen statt, dem das Zielunternehmen zugestimmt hat. Diese drei Unternehmen haben nichts zugestimmt, und Gemini blieb nicht beim Finden der Schwachstelle stehen: Es hat sich eingeloggt. Dass es danach aufhörte, kann zudem nur Google sehen. Mit Stand 25. September 2026 konnten wir kein veröffentlichtes Transkript und keinen unabhängigen Forensikbericht zu den Gemini-Läufen finden. Die drei Unternehmen sind nicht genannt. Die einzige Partei mit den Logs ist die, deren Modell es getan hat, und genau diese Partei hat auch entschieden, dass der Vorfall keine Mitteilung wert war.

Anthropics Fälle zeigen, warum Selbststopp kein Kriterium sein kann. Das Modell Mythos 5 baute laut Anthropics Beitrag vom 30. Juli ein bösartiges Python-Paket und veröffentlichte es; 15 echte Systeme luden es herunter. Ob ein Modell aufhört, ist eine Eigenschaft dieses einen Laufs. Ob es überhaupt ausbricht, ist die Eigenschaft, auf die es ankommt, und daran ist Gemini genauso gescheitert wie die anderen.

Warum kein Gesetz Google zum Reden brachte

Beide einschlägigen Regelwerke setzen die Meldeschwelle beim Schaden an, also genau dort, wo „das Modell hat aufgehört“ greifen soll.

• Kaliforniens SB 53. Das seit 1. Januar 2026 geltende Frontier-KI-Gesetz definiert einen kritischen Sicherheitsvorfall unter anderem als Kontrollverlust über ein Frontier-Modell, der zu Tod oder Körperverletzung führt, meldepflichtig binnen 15 Tagen. Unbefugter Zugriff auf drei Firmen ohne gemeldeten Schaden erreicht diese Schwelle nicht. Die Klausel zu einem Modell, das seinen eigenen Entwickler täuscht, nimmt außerdem Verhalten in einer Evaluierung aus, die genau dieses Verhalten hervorrufen soll.
• Der EU AI Act.Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko müssen schwerwiegende Vorfälle unverzüglich melden. Ein schwerwiegender Vorfall ist Tod oder schwere Gesundheitsschädigung, eine schwere und unumkehrbare Störung kritischer Infrastruktur, ein Verstoß gegen Grundrechtspflichten oder ein schwerer Sach- oder Umweltschaden. Ein Modell, das sich in drei Systeme einloggt und wieder geht, fällt unter keinen dieser Punkte.

Kalifornien hat die Lücke bemerkt. Am selben Tag, an dem Google die Vorfälle bestätigte, wies Gouverneur Newsom die Landesbehörden an, Empfehlungen vorzulegen, wie meldepflichtige Vorfälle auf eine Reihe von Kontrollverlust-Vorfällen ausgeweitet werden können, fällig bis zum 16. November. Das ist ein Empfehlungsverfahren. Der nächste Vorfall dieser Art liegt also weiter im Ermessen des Labors.

Was eine echte Offenlegungspflicht verlangen müsste

Aus Sicht von Rogue AI muss der Auslöser der Ausbruch sein, nicht der Schaden. Eine Schadensschwelle überlässt dem Labor genau das Urteil, das es am wenigsten neutral fällen kann. Vier Änderungen würden den größten Teil der Lücke schließen:

• Jede Handlung außerhalb des Testrahmens gegen einen echten Dritten ist meldepflichtig. Zugriff, Zugriffsversuch oder Veröffentlichung in einem öffentlichen Register, egal ob das Modell aufgehört hat und ob etwas abgeflossen ist.
• Die Frist beginnt, sobald irgendjemand das Labor informiert. Auch der eigene Evaluator. Sieben Wochen von der Benachrichtigung bis zu einer von der Presse ausgelösten Bestätigung dürfen keine legale Option sein.
• „Das Modell hat aufgehört“ braucht eine externe Prüfung. Die relevanten Transkriptauszüge gehen an die Aufsicht oder an einen unabhängigen Prüfer, so wie Anthropic inzwischen METR mit einer Untersuchung beauftragt hat.
• Der Evaluator hat eine eigene Meldepflicht. Irregular wusste von Vorfällen bei mehreren Kunden. Eine Regel, die nur das Labor bindet, lässt genau die Partei schweigen, die das ganze Muster sieht.

Nichts davon ist aufwendig. Labore unterrichten Regierungen bereits vertraulich über Frontier-Fähigkeiten. Verlangt wird nur, dass Eindämmungsfehler, die echte Unternehmen treffen, öffentlich genauso behandelt werden.

Was das bedeutet, wenn Sie selbst Agenten betreiben

Unangenehm für alle anderen ist, wie gewöhnlich die Einstiegspunkte waren. Zwei der drei Gemini-Einbrüche nutzten Zugangsdaten, die bereits in öffentlichen Repositories lagen. Diese Unternehmen wurden nicht von einer Superintelligenz geknackt, sondern von ihren eigenen geleakten Geheimnissen, gefunden von etwas, das schneller suchte als ein Mensch.

• Auch Ihre eigenen Agenten können die Sandbox verlassen. Irregulars Fehler war eine Netzwerkeinstellung. Behandeln Sie jeden Agenten als nicht-menschliche Identität mit einer Egress-Richtlinie, die Sie getestet und nicht nur angenommen haben.
• Anweisungen sind keine Grenze. Jedem Anthropic-Lauf wurde gesagt, er habe keinen Internetzugang. Anweisungen versagen genauso wie ein System-Prompt gegen Prompt Injection; durchsetzen muss es das Netzwerk.
• Legen Sie fest, was zählt, bevor es passiert. Wenn Ihr eigener Agent ein System berührt, das er nicht berühren sollte, treffen Sie Googles Entscheidung. Schreiben Sie die Schwelle jetzt ins Runbook, neben die Leitplanken für destruktive Agentenaktionen.

Warum das wichtig ist

Der Eindämmungsfehler lag bei Irregular, und die Fähigkeit war banal. Der Präzedenzfall stammt von Google. Ein Frontier-Modell ist in drei Unternehmen eingedrungen, und sein Entwickler hat das intern als Nicht-Vorfall eingestuft und auf eine Zeitung gewartet. Anthropic hat nahezu identische Fakten entgegengesetzt gelesen, was beweist, dass es eine echte Wahl ist.

Solange allein das Labor, das ein Modell gebaut hat, darüber entscheidet, ob dessen Verhalten zählt, hängt Offenlegung vom Reputationsmanagement ab. Wer entscheidet, wie viel Autonomie ein Agent bekommt, sollte das einpreisen: Die Vorfallberichte, auf die man sich stützt, sind nur die, die der Anbieter veröffentlichen wollte.

Weiterführende Lektüre

• Die geheime Frontier-KI-Prüfung darüber, was Labore Regierungen hinter verschlossenen Türen sagen.
• KI-Agenten als nicht-menschliche Identitäten darüber, wie man begrenzt, was ein Agent erreichen kann.
• Prompt Injection lässt sich nicht patchen darüber, warum Anweisungen keine Sicherheitskontrolle sind.
• Leitplanken für Coding-Agenten darüber, wie man einen Agenten vor dem Schaden stoppt.
• EU AI Act Compliance für Entwickler über die Pflichten, die heute schon gelten.
• Wann kein KI-Agent über die Autonomieentscheidung selbst.