Ihr KI-Coding-Agent kann alles löschen. So zähmen Sie ihn.

Ihr KI-Coding-Agent wird irgendwann etwas Katastrophales tun, und er wird es mit voller Überzeugung tun. In den letzten Monaten sollte er einen Desktop „aufräumen“ und löschte fünfzehn Jahre Familienfotos. Beim Aufräumen eines Repositorys führte er eine rekursive Löschung mit einem verirrten Home-Verzeichnis-Pfad aus und wischte den gesamten Mac eines Entwicklers. Auf einer anderen Maschine lief derselbe Befehl vom Dateisystem-Root aufwärts. Keiner dieser Agenten war bösartig. Jeder war selbstbewusst, und nichts stand zwischen seiner Entscheidung und Ihrer Shell.

Diese Lücke ist die ganze Geschichte, und die gute Nachricht ist, dass sie ein technisches Problem mit einer technischen Lösung ist. Hier steht, was wirklich schiefläuft, warum ein besseres Modell es nicht behebt und wie Sie den Agenten an eine Leine legen, die kurz genug ist, dass sein schlimmster Tag Sie ein paar Minuten kostet statt fünfzehn Jahre Erinnerungen.

Zwei Arten, wie der Agent Ihnen schadet

Die Fehler teilen sich sauber in die laute und die leise Art, und die leise ist schlimmer.

Die laute Art ist der zerstörerische Befehl. Ein Agent entscheidet, der schnellste Weg zu Ihrer Anfrage sei, etwas zu löschen, und er hat recht, dass Löschen schnell geht, und unrecht darin, was zu löschen ist. Diese landen in den Schlagzeilen, weil der Schaden total und sofortig ist: ein gewischtes Home-Verzeichnis, eine gelöschte Datenbank, ein force-gepushter Branch. Sie sind beängstigend und in gewissem Sinn der einfache Fall, weil Sie es sofort merken.

Die leise Art ist Code, der subtil schlechter ist, als ein Mensch ihn schreiben würde, und gemergt wird, weil er in Ordnung aussah. Eine Studie von CodeRabbit aus dem Dezember 2025 verglich hunderte KI-mitgeschriebene Pull Requests mit rein menschlichen und fand, dass KI-Code 1,7-mal mehr Probleme insgesamt und 2,74-mal mehr Sicherheitsprobleme lieferte. KI-Änderungen waren rund 1,9-mal häufiger fehlerhaft im Umgang mit Passwörtern, führten eine unsichere direkte Objektreferenz ein oder fügten unsichere Deserialisierung hinzu, mit Logik- und Korrektheitsfehlern um etwa 75 Prozent höher. Der zerstörerische Befehl kostet Sie einen Nachmittag. Der leise Defekt kostet Sie sechs Monate später einen Breach.

Warum das immer wieder passiert, und warum ein besseres Modell es nicht behebt

Die Wurzelursache ist nicht, dass das Modell dumm ist. Sie ist architektonisch. Wie es das Docker-Team nach der Katalogisierung dieser Vorfälle formulierte: Der Agent läuft als Sie, auf Ihrem Dateisystem, mit Ihren Anmeldedaten, und nichts sitzt zwischen der Entscheidung des Modells und der Ausführung der Shell. Es ist ein selbstbewusster Junior-Entwickler, dem man Root auf Ihrem Laptop, Ihre Produktions-Anmeldedaten und kein Code-Review gegeben hat, und dem man dann sagt, er solle schnell sein.

Deshalb geht das Warten auf ein klügeres Modell am Punkt vorbei. Die CodeRabbit-Zahlen gelten für aktuelle Spitzenmodelle, nicht für einen schwachen Ausreißer, und die Vorfälle mit zerstörerischen Befehlen betreffen die besten verfügbaren Agenten. Das Modell wird gelegentlich falschliegen, egal wie gut es wird, so wie ein brillanter Junior gelegentlich den falschen Befehl ausführt. Die Lösung ist kein besserer Junior. Es ist die Grenze, die Sie um jeden Junior mit so viel Macht ziehen. Dasselbe Argument haben wir für Agenten allgemein in warum die Prompt-Injection-Zahl niemals null erreichtgemacht: für den Fehler konstruieren, ihn nicht wegbeten.

Die Leine: Eindämmung für Coding-Agenten

Alles, was wirklich wirkt, geht darum zu verkleinern, was der Agent erreichen und rückgängig machen kann, nicht darum, ihm mehr zu vertrauen.

• Lassen Sie ihn in einer Sandbox laufen, nicht auf Ihrem Host. Geben Sie dem Agenten einen Container oder eine VM, deren Dateisystem das Projekt ist und sonst nichts. Ihr Home-Verzeichnis, Ihre SSH-Schlüssel, Ihre echten Cloud-Anmeldedaten und Ihre Fotos sind schlicht nicht gemountet und können daher nicht gelöscht oder abgezogen werden. Das ist dieselbe Härtungsdisziplin wie in selbst-gehostete KI-Infrastruktur absichern.
• Nutzen Sie das „alle Berechtigungen überspringen“-Flag nie auf Ihrer echten Maschine. Der Auto-Freigabe-Modus, der Demos flüssig macht, ist genau das, was das letzte Tor vor einem zerstörerischen Befehl entfernt. Wenn Sie ihn brauchen, nutzen Sie ihn in der Sandbox.
• Sichern Sie das Unumkehrbare ab. Verlangen Sie ausdrückliche Bestätigung für Löschungen, Force-Pushes und Datenbank-Migrationen. Eine Dry-Run-Standardregel verwandelt „es ist schon passiert“ in „es hat vorher gefragt“.
• Behandeln Sie KI-Code als nicht vertrauenswürdige Eingabe. Die 2,74x-Zahl bedeutet, dass KI-Code mehr Prüfung braucht, nicht weniger. Schicken Sie ihn durch dieselben Linter, SAST, Tests und Evaluierungs-Gates, die Sie von jedem Mitwirkenden verlangen würden, so wie in KI-Systeme vor der Produktion testen.
• Halten Sie Versionskontrolle und Backups ehrlich. Eingecheckte Arbeit und ein aktuelles Backup verwandeln eine katastrophale Löschung in ein Ärgernis. Der Fall mit den fünfzehn Jahren Fotos tat weh, weil es keine Kopie gab.

Loser Agent gegen angeleinter Agent

Nicht verbieten, eindämmen

Der Produktivitätsgewinn ist echt, und Abstinenz ist so wenig die Antwort wie ein Verbot von Elektrowerkzeug. Die Antwort ist die Leine. Ein KI-Coding-Agent ist der fähigste Junior, den Sie je eingestellt haben, und der am wenigsten beaufsichtigte, und das Vertrauensmodell, das sicher ausliefert, behandelt ihn genau so: mächtig, nützlich und nie mit unbeaufsichtigtem Root ausgestattet. Denselben Fall, Agenten bewusst statt hoffnungsvoll in Produktion zu bringen, machen wir in was bei der Agenten-Orchestrierung im Produktionsmaßstab bricht und LLM-Funktionen bauen, die die Produktion überstehen. Dieselbe Lieferketten-Vorsicht gilt für die Werkzeuge, die der Agent selbst hereinzieht, behandelt in wie der Agenten-Skill-Marktplatz vergiftet wurde.

Sie würden einem neuen Mitarbeiter am ersten Tag kein unbeaufsichtigtes Root auf Ihrem Laptop geben. Geben Sie es auch dem Agenten nicht. Sandboxen Sie ihn, begrenzen Sie ihn, prüfen Sie seine Ausgabe, halten Sie Backups, und dann lassen Sie ihn so schnell laufen, wie er will, denn der Schadensradius ist jetzt ein Container statt Ihres Lebenswerks.

Weiterführende Lektüre: siehe selbst-gehostete KI-Infrastruktur absichern, wie man KI-Systeme vor der Produktion testet und was bei der Agenten-Orchestrierung im Produktionsmaßstab bricht.