Im Quellenvergleich
Worin die Quellen übereinstimmen
OpenAI hat seine neuesten KI-Modelle für ältere Programmiersprachen wie COBOL, Fortran und Visual Basic verbessert. Diese Sprachen gelten weiterhin als wichtig für Banken und Behörden. Zur Messung der Fortschritte entwickelte OpenAI den Benchmark MultiLangBench, bei dem die KI eine SQLite-kompatible Datenbank-Engine in rund 20 Programmiersprachen bauen muss. Ein weiterer Benchmark prüft die Migration von COBOL-Anwendungen in andere Sprachen. GPT-6 Astra erreicht in MultiLangBench eine durchschnittliche Erfolgsrate von 87,4 Prozent, GPT-5.6 Sol kommt auf 26,8 Prozent. Bei der Migration von COBOL nach C++, Java, Kotlin, Python oder Rust erreicht GPT-6.1 Sol 86,6 Prozent Genauigkeit bei geringem Reasoning-Aufwand und 97,9 Prozent bei höherem Aufwand. Die Quellen berichten weitgehend übereinstimmend. In MultiLangBench stieg die Erfolgsrate für COBOL von 10,9 auf 72,1 Prozent. GPT-6 Luna erreicht im Schnitt 40,3 Prozent. MultiLangBench steht auf GitHub.
Aktualisierungen
20.10.2026
21:07In MultiLangBench stieg die Erfolgsrate für COBOL von 10,9 auf 72,1 Prozent.
GPT-6 Luna erreicht im Schnitt 40,3 Prozent.
MultiLangBench steht auf GitHub.
Worin sie sich unterscheidenZusätzliche Sprachen im Trainingsfokus·Details zu MultiLangBench·Zusätzliche Modellvariante+7 weitere
Zusätzliche Sprachen im TrainingsfokusOpenAI nennt als ressourcenarme Sprachen COBOL, Fortran, Visual Basic und OCaml.12 Details zu MultiLangBench- MultiLangBench verlangt eine mit SQLite 3.40.1 kompatible Datenbank-Engine, die ohne Internet und ohne Spuren von SQLite in der Umgebung geschrieben werden muss.1
- MultiLangBench steht auf GitHub unter der Lizenz Apache 2.0.1
Zusätzliche Modellvariante- GPT-6 Luna erreicht durchschnittlich 40,3 Prozent bei etwa 0,77 Dollar pro Versuch, während GPT-5.6 Sol 3,48 Dollar pro Versuch kostet.1
- GPT-6 Luna kommt auf 40,3 Prozent bei rund 78 Prozent niedrigeren geschätzten API-Kosten pro Sample.3
Sprachspezifische Erfolgsraten- In Fortran stieg die Erfolgsrate von 21,4 auf 83,5 Prozent, in Visual Basic lag sie nahe 90 Prozent.2
Erfolgskriterium bei der Migration- Eine Migration gilt nur als erfolgreich, wenn versteckte Tests eine bytegenaue Übereinstimmung der Ausgaben zeigen.2
Hintergrund zu Altlasten- Als Problem solcher Altlasten nennt der Artikel fehlende Entwickler und verlorene Dokumentation.2
- COBOL-Arithmetik mit fester Kommastelle schneidet standardmäßig Nachkommastellen ab, sodass eine automatisch rundende Portierung fehlerfrei läuft, aber andere Beträge errechnet.1
Bedeutung von COBOL- Laut IBM-Schätzungen beruhen über 40 Prozent der Online-Banking-Systeme, 80 Prozent der Kartenzahlungen im Handel und 95 Prozent der Geldautomaten-Operationen auf COBOL.1
- Laut IBM unterstützt COBOL mehr als 40 Prozent der Online-Banking-Systeme und 95 Prozent aller Geldautomaten-Transaktionen.3
Unabhängigkeit der Benchmarks- Beide Tests stammen von OpenAI selbst, Vergleiche mit Claude oder Gemini fehlen, und der Migrations-Test ist geschlossen, sodass Größe und Herkunft der Programme unbekannt sind.1
- Unabhängige Durchläufe von MultiLangBench fand der Autor nicht.1
Vollständiger Migrationszyklus- Der vollständige Zyklus aus fremdem Repository verstehen, planen, bauen, testen und debuggen ist laut OpenAI ein Ziel, kein erreichtes Ergebnis.1
SWE Refactor Bench- Im Preprint SWE Refactor Bench migrierten Agenten ganze Repositories, wobei von 520 Versuchen 28 gelangen, also 5,4 Prozent.1