Im Quellenvergleich
Worin die Quellen übereinstimmen
Mehr als 20 führende KI-Forscher warnen in einem Forschungspapier vor einer möglichen Intelligenzexplosion durch sich selbst verbessernde KI. Zu den Autoren zählen der Nobelpreisträger Geoffrey Hinton, der kanadische Informatiker Yoshua Bengio und OpenAI-Chefwissenschaftler Jakub Pachocki. Die Autoren beschreiben eine Intelligenzexplosion als dramatische Beschleunigung des KI-Fortschritts, die Jahre an Entwicklung in Monate oder weniger presst. Auslöser sei die Automatisierung von KI-Forschung und -Entwicklung, weil KI-Systeme schon heute an ihrer eigenen Verbesserung mitwirken. Laut dem Papier könnte eine Intelligenzexplosion die folgenreichste technologische Entwicklung der Geschichte sein. Sie bedrohe die menschliche Kontrolle über KI-Systeme und untergrabe Machtkontrollen innerhalb und zwischen Staaten, Firmen und Regierungszweigen. Die Autoren fordern politische Entscheidungsträger auf, schnell zu handeln und mehr Einblick in die Automatisierung der KI-Forschung zu gewinnen. Die Quellen berichten weitgehend übereinstimmend.
Worin sie sich unterscheidenWeitere Unterzeichner des Papiers·Anteil KI-generierten Codes in den entwickelnden Unternehmen·Zeitfenster für politisches Handeln+8 weitere
Weitere Unterzeichner des Papiers- Zu den mehr als 20 Autoren gehören Jack Clark, Mitgründer von Anthropic, und Jakub Pachocki, Chefwissenschaftler von OpenAI.1
Anteil KI-generierten Codes in den entwickelnden Unternehmen- Anthropic gibt an, dass KI inzwischen 80 Prozent des eigenen Codes produziert, und OpenAI nutzt autonome KI-Agenten unter anderem beim Training neuer Modelle.1
- KI-Systeme schreiben schon jetzt den Großteil des Codes in den Unternehmen, die sie entwickeln.2
Zeitfenster für politisches Handeln- Sobald eine Intelligenzexplosion beginnt, könnte das Zeitfenster für Handeln sich schließen.1
Empfohlene politische Schwerpunkte- Die Autoren empfehlen transparente Fortschrittsberichte zur KI-Forschung mit eingebetteten unabhängigen Prüfern, Wege zur Begrenzung des rasanten Tempos und die Vorbereitung auf eine Intelligenzexplosion.1
Konkrete Maßnahmen gegen eine Intelligenzexplosion- Die Autoren fordern, die Verbesserungsgeschwindigkeit von KI zu begrenzen, Rechenzentren für das Pausieren von Projekten zu gewinnen, automatisierte KI-Forschung vollständig zu isolieren und Notfallpläne zu erstellen.1
Als Risiken genannte Bedrohungen- Als Risiken nennen die Autoren biologische und Cyber-Bedrohungen, die schneller entstehen als Gegenmaßnahmen, den Verlust menschlicher Kontrolle und die Möglichkeit, dass Staaten einen kleinen Vorsprung etwa im Cyberspace in einen entscheidenden verwandeln.1
Unsicherheit der Folgen- Die Folgen seien unsicher: Ein Durchbruch könnte sich verzögern, weil Lieferketten und Vorschriften Zeit brauchen, und KI könne Risiken auch schneller eindämmen.1
Zeitpunkt vollautomatischer KI-Forschung- Forschung, für die Menschen Monate bräuchten, könnte bis 2028 vollautomatisch ablaufen.1
- Innerhalb weniger Jahre könnten KI-Systeme die gesamte KI-Forschung automatisieren.2
Produktivitätsgewinne und Schwelle zur Intelligenzexplosion- Die Produktivitätsgewinne hätten die Schwelle zur Intelligenzexplosion noch nicht erreicht, näherten sich ihr aber.1
Einordnung in frühere Warnungen- Kürzlich forderten 42 führende Mathematiker in einem offenen Brief mehr Aufmerksamkeit für existenzielle KI-Risiken.2
Aussage von Jakub Pachocki zum Alignment- Pachocki sagte zuletzt, kein Labor habe Alignment ausreichend gelöst, um noch viel länger verantwortungsvoll mit maximaler Geschwindigkeit weiter zu skalieren.2