Im Quellenvergleich
Worin die Quellen übereinstimmen
Nick Cammarata, Forscher beim Interpretability-Labor Goodfire, vertritt in einem Essay die These, das Innere großer KI-Modelle sei leichter zu verstehen als angenommen. Er verwirft damit die Superpositions-These, die er selbst mitgeprägt hat. Die Mehrdeutigkeit von Neuronen habe korrigierbare Ursachen statt Superposition, und die meisten Neuronen erfüllten auch in riesigen Modellen eine einzige verständliche Aufgabe. Cammarata selbst nennt den Text eine Arbeitshypothese; eine technische Arbeit mit vollständiger Beschreibung der Experimente steht noch aus. Die Untersuchungen liefen auf dem Modell Qwen, wobei KI-Agenten Hypothesen aufstellten und prüften. Goodfire ist ein kommerzielles Unternehmen, das unter anderem die Verifikation von LLM als Dienstleistung anbietet. Beide Quellen berichten übereinstimmend, dass eine endgültige Bewertung erst nach dem vollständigen technischen Bericht möglich ist. Der Essay umfasst 26.000 Wörter. Cammarata räumt ein, noch nicht zu verstehen, wie LLMs funktionieren, hält vollständiges Verständnis aber nicht mehr für unmöglich. Er sagt, viele hätten seine Aussagen zu weit getrieben; es seien noch viele Fragen offen.
Aktualisierungen
19.10.2026
19:07Der Essay umfasst 26.000 Wörter.
Cammarata räumt ein, noch nicht zu verstehen, wie LLMs funktionieren, hält vollständiges Verständnis aber nicht mehr für unmöglich.
Cammarata sagt, viele hätten seine Aussagen zu weit getrieben; es seien noch viele Fragen offen.
Worin sie sich unterscheidenDeutung des berühmten Neurons im Bildmodell InceptionV1·Deutung des Superpositions-Schaltkreises aus dem Paper „Zoom In“·Erklärung verbleibender Mehrdeutigkeit+10 weitere
Deutung des berühmten Neurons im Bildmodell InceptionV1- Das Neuron im Bildmodell InceptionV1, das auf Katzengesichter und Autofronten reagierte, sei in Wahrheit ein Detektor für V-Formen.1
- Beide Reize zeigten oft eine V-förmige Silhouette, weshalb das Neuron als V-Form-Detektor gelte.2
Deutung des Superpositions-Schaltkreises aus dem Paper „Zoom In“- Den Superpositions-Schaltkreis aus dem Paper „Zoom In“ deutet Cammarata heute als gewöhnliche Generalisierung.1
Erklärung verbleibender Mehrdeutigkeit- Verbleibende Mehrdeutigkeit erklärt Cammarata mit „rekursiver Generalisierung“.1
Quantitative Aufschlüsselung der Neuronenrollen in Qwen3-32B- Für das Modell Qwen3-32B nennt Cammarata vorläufige Zahlen: rund 90 Prozent der Neuronenpole hätten eine Hauptaufgabe, etwa 7 Prozent zwei verwandte, nur 2 bis 4 Prozent seien unverstanden.1
Methodik: Verhältnis zur direkten Neuronanalyse- Cammarata stellt keine neue Methode vor, sondern kehrt zur direkten Neuronanalyse zurück.1
Reaktion von Roon auf Cammaratas Essay- Der OpenAI-Mitarbeiter Roon sieht in Cammaratas Essay einen möglichen „großen Moment der Wissenschaftsgeschichte“, räumt aber ein, andere müssten die Ergebnisse erst bestätigen.1
Reaktion von Neel Nanda auf Cammaratas Essay- Der Deepmind-Forscher Neel Nanda urteilt, Cammaratas Arbeit sei interessant, verändere das Gesamtbild aber nicht wesentlich; er hält Superposition weiterhin für real und bezweifelt, dass sich Befunde aus kleinen Bildmodellen übertragen lassen.1
- Neel Nanda von Google DeepMind bezweifelt, dass der Beitrag das Gesamtbild der Interpretierbarkeit wesentlich verändert.2
Interessenkonflikt durch Goodfires Geschäftsmodell- Goodfire hat als Interpretability-Unternehmen ein naheliegendes Interesse an der These.1
Rezeption der Hypothese in Medien- Laute Schlagzeilen hätten die Hypothese in Wiedergaben zum Fakt gemacht.3
Rolle von LLM bei der Prüfung der Interpretierbarkeit- Der Neuronenaudit lief auf Qwen, Hypothesen stellten Agenten auf und prüften sie – LLM bewiesen also, dass LLM interpretierbar sind.3
Bewertung schwacher Aktivierungen anhand einer Ablation- Cammarata stützt die Aussage, schwache Aktivierungen seien zweitrangig, auf eine Ablation mit gemessener Durchschnittsgenauigkeit: weak75 senkt sie nur von 72 auf 71 Prozent, wobei sich jeder zehnte Antwortfall ändert.3
- Ein Gegentest auf einem kleinen MLP-512 zeigt: Auf dem Standardtest stieg die Genauigkeit von 97,5 auf 98,3 Prozent, auf Grenzfällen fiel sie bei Ablation des Rests von 93,1 auf 72,4 Prozent, die Vollständigkeit beim Erkennen von Verstößen halbierte sich von rund 88 auf rund 44 Prozent; in den schwachen Aktivierungen sitzen demnach die Klassengrenzen.3
Kritik von Chris Potts an Cammaratas Beitrag- Chris Potts von der Stanford University nennt den Beitrag kaum mehr als eine Vermutung; er mache die Probleme nicht leichter.2
Einschätzung von Jacob Hilton zum Forschungsstand- Jacob Hilton vom Alignment Research Center schreibt, Forscher verstünden weniger als 0,01 Prozent der inneren Abläufe führender LLMs, und warnt vor einem unrealistischen Bild der Forschung.2