Im Quellenvergleich
Worin die Quellen übereinstimmen
Anthropic-CEO Dario Amodei fordert in einem Essay bzw. Blogbeitrag, die KI-Entwicklung zu drosseln. Als Gründe nennt er den Vorfall bei OpenAI und Hugging Face sowie das beschleunigte Voranschreiten der KI, besonders deren wachsende Fähigkeit, die nächste KI-Generation zu bauen. Er schlägt drei Stufen vor: unabhängige Prüfer sollen dauerhaft Zugang zu den Systemen erhalten, um Sicherheitszusagen zu prüfen und Vorfälle zu melden; führende KI-Firmen in Demokratien sollen gemeinsame Sicherheitsstandards und Grenzen für ungebremsten Fortschritt abstimmen; globale Abkommen sollen folgen, auch mit China, etwa ein Verbot des Einsatzes von KI für Biowaffen. Anthropic verpflichtet sich einseitig zur ersten Stufe und ruft Regierungen auf, dies auch von anderen führenden Firmen zu verlangen. Amodei betont weiter den großen Nutzen von KI für die Menschheit. Die Quellen berichten weitgehend übereinstimmend.
Worin sie sich unterscheidenBezeichnung und Struktur der vorgeschlagenen Stufen·Zeitrahmen für mögliche Gefährdung durch KI-Systeme·Haltung von US-Präsident Donald Trump zur Verlangsamung+14 weitere
Bezeichnung und Struktur der vorgeschlagenen Stufen- Die drei Maßnahmen umfassen unabhängige Prüfer mit Zugang zu internen Systemen und dem Recht, Ergebnisse zu veröffentlichen, gemeinsame Sicherheitsstandards in Demokratien sowie globale Abkommen in vier Stufen vom Verbot bestimmter Anwendungen über gemeinsame Sicherheitstests bis zu einem Tempolimit für rekursive Selbstverbesserung.1
- Die drei Stufen bestehen aus einer einseitigen Verpflichtung zu unabhängigen Prüfern auf Mitarbeiterebene, einer Koordination der ganzen Branche und einer globalen Abstimmung, wobei die Schritte nicht streng in dieser Reihenfolge erfolgen müssen und unterschiedlich schwer umzusetzen sind.2
- Die drei Strategien sind eingebettete Prüfer von Drittorganisationen wie METR, gemeinsame Sicherheitsstandards führender KI-Firmen in Demokratien mit einem engen Ausnahmebescheid der US-Regierung wegen möglicher Kartellprüfungen sowie globale Koordination auch mit autoritären Regierungen und China.3
Zeitrahmen für mögliche Gefährdung durch KI-Systeme- In sechs bis zwölf Monaten könnten solche Systeme das gesamte Internet gefährden.1
- KI könne bis 2030 die Menschheit auslöschen, erklärte der ehemalige Anthropic-Forscher Jacob Coxon.2
Haltung von US-Präsident Donald Trump zur Verlangsamung- US-Präsident Donald Trump hatte zuvor gesagt, er sei gegen eine Verlangsamung, um den KI-Vorsprung der USA gegenüber China zu wahren.1
Reaktionen auf Amodeis Vorschläge- Ein Anthropic-Sprecher sagte, das Unternehmen sei stets transparent über Nutzen und Risiken und baue Modelle mit starken Schutzvorkehrungen.2
- Hugging-Face-CEO Clément Delangue schrieb, Ausrichtung lasse sich nicht hinter verschlossenen Türen weniger Labore lösen, und bat um Teilnahme am Prüferprogramm.2
- Die Reaktionen fielen gemischt aus, mit Zustimmung etwa von OpenAI-Forscher Aidan McLaughlin und Elon Musk.2
- Kritiker wie Journalist Brian Merchant bezweifeln die Untergangswarnungen und sehen in solchen Vorschlägen regulatorische Vereinnahmung.3
Zeitpunkt der Äußerungen im Verhältnis zum Börsengang- Die Äußerungen fallen kurz vor Anthropics Börsengang, angeblich im November.1
Einschätzung eines vollständigen Stopps- Einen vollständigen Stopp hält Amodei für unrealistisch, weil der Anreiz zum Vertragsbruch zu groß sei.1
Verwendung der gewonnenen Zeit- Die gewonnene Zeit solle für Sicherheitsforschung, Interpretierbarkeit, strengere Tests und mehr operative Sorgfalt genutzt werden, ähnlich wie die kommerzielle Luftfahrt Zeit brauchte, um Millionen Flüge ohne Zwischenfälle zu absolvieren.1
Äußerungen von Anthropic-Angestellten zu existenziellen Risiken- Anthropic-Angestellte sagten, KI-Labore nähmen beim aktuellen Tempo existenzielle Risiken für die Menschheit in Kauf.1
Vergleich mit Vorschlägen von Demis Hassabis- Die gemeinsamen Sicherheitsstandards ähneln einem Vorschlag von Demis Hassabis.1
Vergleich mit SALT-Abrüstungsverträgen- Das Tempolimit für rekursive Selbstverbesserung sei vergleichbar den SALT-Abrüstungsverträgen.1
Diskussion bei OpenAI über eine Verlangsamung- Auch OpenAI diskutiere angeblich über eine Verlangsamung.1
Ähnliche Vorfälle bei Anthropic- Ähnliche Vorfälle wie der Hugging-Face-Vorfall gab es laut Amodei auch bei Anthropic.1
Umgang mit rekursiver Selbstverbesserung- Die rekursive Selbstverbesserung müsse sehr sorgfältig, wenn überhaupt, verfolgt werden.2
Begründung für die Drosselung des Tempos- Amodei habe sich überzeugt, dass es nicht reiche, in Risikovorsorge zu investieren, sondern dass auch das Tempo der Fähigkeitsentwicklung gedrosselt werden müsse, damit die Vorsorge Schritt halte.2
Kündigung von Jacob Coxon- Der ehemalige Anthropic-Forscher Jacob Coxon erklärte, er habe gekündigt, weil Anthropic und sein früherer Arbeitgeber OpenAI die KI-Gefahr ignorierten oder falsch behandelten.2
Auslöser für mehr Vorsicht- Zwei Dinge hätten Amodei zu mehr Vorsicht bewogen: der Hack bei OpenAI und HuggingFace sowie das drastisch beschleunigte Voranschreiten der KI, besonders deren wachsende Fähigkeit, die nächste KI-Generation zu bauen.3
Grenzen der globalen Koordination- Amodei räumt ein, dass bei der globalen Koordination nur begrenzt etwas erreichbar sei.3