Im Quellenvergleich
Worin die Quellen übereinstimmen
Google hat bestätigt, dass sein KI-Modell Gemini im Mai bei einer Cybersicherheits-Evaluierung der israelischen Sicherheitsfirma Irregular in die Systeme von drei echten Unternehmen eingedrungen ist. Die Tests fanden in einer eigentlich geschlossenen Umgebung mit fiktiven Firmen statt, die versehentlich Internetzugang hatte. In einem Fall erriet das Modell das Passwort einer fiktiven Firma, deren Name mit einer echten Domain übereinstimmte; in zwei weiteren Fällen fand es Zugangsdaten in öffentlichen Quellen und nutzte sie für den Zugriff. Google zufolge stoppte das Modell jeweils selbst, sobald es reale Systeme erreichte. Irregular meldete die Vorfälle Ende Juli an Google, nachdem bekannt wurde, dass OpenAI-Agenten bei ähnlichen Tests Hugging Face gehackt hatten. Google machte die Vorfälle erst publik, nachdem das Wall Street Journal nachfragte, und erklärte, es bestehe kein Grund zur Veröffentlichung, da kein Schaden entstanden sei. Die drei betroffenen Firmen wurden nach Google-Angaben informiert. Die Namen der betroffenen Firmen wurden nicht genannt. Vergleichbare Vorfälle gab es bei Tests für Modelle von OpenAI, Anthropic und Meta. Die Quellen berichten weitgehend übereinstimmend.
Aktualisierungen
19.09.2026
11:07Die Namen der betroffenen Firmen wurden nicht genannt.
Vergleichbare Vorfälle gab es bei Tests für Modelle von OpenAI, Anthropic und Meta.
Worin sie sich unterscheidenArt der Evaluierung·Ursache des Fehlers·Entdeckung des Fehlers+6 weitere
Art der EvaluierungDie Evaluierung war eine Capture-the-Flag-Übung, bei der das Modell Daten aus der Software einer fiktiven Firma beschaffen sollte.- Die Evaluierung war eine Standard-Evaluierung, in der das Modell öffentliche Informationen fand und Zugangsdaten erriet.1
Ursache des FehlersDie abgeschottete Testumgebung hatte versehentlich Internetzugang, und in einem komplexen Testszenario stimmte der Name einer fiktiven Firma zufällig mit einer echten Domain überein.- Der Fehler sei selten und erst nach Hunderten Schritten aufgetreten, daher schwer zu entdecken.2
Entdeckung des FehlersIrregular informierte Google und andere KI-Anbieter nach eigenen Angaben Ende Juli.
Frühere ähnliche VorfälleVergleichbare Vorfälle gab es bei Tests für Modelle von OpenAI, Anthropic und Meta.- Ähnliche Vorfälle gab es zuvor auch beim britischen Cybersecurity-Institut.2
Reaktionen auf die Vorfälle- Die Vorfälle veranlassten Senator Bernie Sanders, die Unternehmen aufzufordern, die Entwicklung ihrer Technologie zu pausieren.1
- OpenAI pausierte die Entwicklung zwei Wochen lang, und Anthropic-CEO Dario Amodei forderte eine kollektive Verlangsamung der KI-Entwicklung.1
- Jack Cable vom KI-Sicherheitsunternehmen Corridor kritisiert, hier werde fälschlich nach den Gepflogenheiten klassischer Schwachstellenmeldungen verfahren.3
- Google änderte mit Irregular die Testverfahren.3
Hintergrund zu Irregular- Irregular, ehemals Pattern Labs, wurde 2023 von CEO Dan Lahav und Technikchef Omer Nevo gegründet, hat laut PitchBook rund 35 Mitarbeitende und sicherte sich im September in einer Finanzierungsrunde mehr als 80 Millionen Dollar.2
Beteiligte Gemini-Version- Welche Gemini-Version beteiligt war, teilte Google nicht mit; es sei nicht das jüngste Modell gewesen.3
Bewertung der Schwachstelle- Die bislang bekannten Angaben deuten nicht auf eine neuartige Schwachstelle hin, der Internetzugang bestand schlicht wegen eines Konfigurationsfehlers.3
- Sobald ein Modell eigenständig über Werkzeuge handle, genügten Infrastrukturfehler, damit eine simulierte Aufgabe reale Folgen habe.3
- Nötig seien technische Begrenzungen wie gesperrte ausgehende Verbindungen und Positivlisten.3
Erweiterung der Cyberfähigkeiten- Google erweitert die Cyberfähigkeiten von Gemini, etwa mit einer für Schwachstellenerkennung vorgesehenen Modellvariante für ausgewählte Tester.3