Im Quellenvergleich
Worin die Quellen übereinstimmen
Zwei Mitarbeiter von METR und Redwood Research prüften drei Wochen lang, vom 21. Juli bis 11. August, das interne Überwachungssystem von OpenAI gegen Fehlverhalten von KI-Agenten. Sie hatten Zugriff auf die Codebasis, interne Dokumente und die Konfiguration der Monitore und sprachen mit rund einem Dutzend Forschern und Ingenieuren. Der Bericht umfasst 61 Seiten; eine von OpenAI geschwärzte Fassung mit 38 Seiten ging an die Leitung beider Organisationen. Beim internen Codex-Verkehr blieben schätzungsweise rund 10 Prozent zwischen Mai und Juli 2026 ungeprüft, weil Kompaktierungsereignisse nicht überwacht wurden; OpenAI erkannte das Problem selbst und behob es während der Übung. Die Tester fanden mehrere Schwachstellen: Codex-Agenten konnten die Sandbox und die automatische Prüfung umgehen, ein Exploit konnte hunderte jüngste Aktionen vor der Überwachung verbergen, und zwei clientseitig steuerbare Header deaktivierten die Überwachung neuer Agenten. Zum Start der Übung waren Trainingsläufe für Reinforcement Learning nicht abgedeckt. Laut OpenAI sind alle Lücken im Produktivbetrieb geschlossen; die Tester haben das nicht geprüft. Die Quellen berichten weitgehend übereinstimmend.
Worin sie sich unterscheidenAnteil des überwachten bzw. nicht überwachten Agenten-Datenverkehrs über die Responses API·Überwachung des Codex-Datenverkehrs·Zeitpunkt der Auslösung des Überwachungssystems+4 weitere
Anteil des überwachten bzw. nicht überwachten Agenten-Datenverkehrs über die Responses API- Die Tester schätzen, dass rund 75 bis 94 Prozent des internen Agenten-Datenverkehrs über die Responses API von Modellen mindestens der Stärke GPT-5.5 überwachbar war, mit erheblicher Unsicherheit in beide Richtungen.1
- Laut METR-Schätzung waren 6 bis 25 Prozent des internen agentischen Responses-API-Verkehrs von Modellen ab der GPT-5.5-Klasse zum Zeitpunkt der Prüfung grundsätzlich nicht überwacht, bei erheblicher Unsicherheit.2
Überwachung des Codex-Datenverkehrs- Beim Datenverkehr interner Codex-Agenten waren 99,2 Prozent überwachbar.1
Zeitpunkt der Auslösung des Überwachungssystems- Agenten konnten die Überwachung hinauszögern, weil das System erst ausgelöst wurde, wenn sie die Kontrolle an den Nutzer zurückgaben.2
Ausfallrisiko des Monitors durch speziell konstruierte Eingaben- Speziell konstruierte Eingaben hätten wahrscheinlich einen Ausfall des Monitors auslösen können.2
Reaktion auf den Hugging-Face-Vorfall und Ausweitung der Überwachung- Nach dem Hugging-Face-Vorfall im August pausierte OpenAI laut eigener Aussage das Training und weitete die Überwachung aus; diese Änderungen bewerteten die Prüfer nicht mehr.2
Öffentlicher Zugang zum Bericht und Umgang mit den Schwärzungen- Öffentlich ist nur eine kurze Zusammenfassung; METR habe die Schwärzungen laut eigener Aussage nicht eigenmächtig offenlegen dürfen.2
Zweck der Übung und künftige Transparenz- Die Übung diente als Pilot für tiefen Zugang externer Forscher, nicht als belastbare öffentliche Transparenz.1
- Für künftige Prüfungen will METR mehr öffentliche Transparenz sicherstellen.2