Im Quellenvergleich
Alle Inhalte werden von KI erstellt. Dieser Überblick fasst zusammen, worin sich mehrere Quellen einig sind und worin sie sich unterscheiden — die Bewertung bleibt dir überlassen.
Forscher der Princeton University haben mit CEO-Bench einen Benchmark vorgestellt, der KI-Agenten 500 Tage lang ein fiktives Software-Start-up führen ließ. Von zehn Modellen schafften es nur drei, das Startkapital von einer Million Dollar zu vermehren. Ein handkodierter, regelbasierter Agent ohne maschinelles Lernen schnitt besser ab als die meisten KI-Modelle. Die Simulation dreht sich um das Start-up „NovaMind“. Die Agenten starten ohne Kunden und mit einer Million Dollar. Sie haben 34 Werkzeuge zur Verfügung, etwa für Preisfestlegung und Marketing. Die Autoren messen damit „Steering Intelligence“ – die Fähigkeit, ein komplexes System über längere Zeit zu steuern. In der besten Runde erzielte Claude Opus 4.8 rund 27,8 Millionen Dollar, GPT-5.5 etwa 21,3 Millionen. Claude Fable 5 schaffte rund 47 Millionen Dollar, verweigerte aber wegen Sicherheitseinschränkungen zeitweise Aufgaben. Die übrigen Modelle blieben unter dem Startkapital oder gingen bankrott. Die erfolgreichen Modelle verfolgten unterschiedliche Strategien. Die Varianz zwischen den Läufen desselben Modells war groß. Laut Artikel passt das Ergebnis zur Forschung: In einer simulierten Stadtregierung zeigten Modelle wie Gemini 3 Flash und Claude Sonnet 4.6 ebenfalls unvorhersehbares Verhalten. Die getesteten KIs waren überwiegend Reasoning-Modelle, die für solche Aufgaben mutmaßlich nicht ideal sind. Der Agent steuert die Firma über eine programmierbare Schnittstelle mit 34 Werkzeugen und einer Datenbank aus 19 Tabellen. Entscheidungen wirken erst zeitverzögert, Kosten fallen sofort an. Viele Informationen über Kunden bleiben verborgen. Die Faustregel erzielte 15,76 Millionen Dollar. Erfolgreiche Modelle erkunden neue Strategien, decken verborgene Informationen auf, sagen die Zukunft voraus und passen sich schnell an. Die Forscher räumen Grenzen ein, etwa dass das Produkt nur über einen Qualitätswert abgebildet wird. CEO-Bench zeige die Lücke zwischen lokaler Werkzeugkompetenz und langfristiger strategischer Steuerung.