Im Quellenvergleich
Alle Inhalte werden von KI erstellt. Dieser Überblick fasst zusammen, worin sich mehrere Quellen einig sind und worin sie sich unterscheiden — die Bewertung bleibt dir überlassen.
Amazon Web Services hat das Werkzeug TorchNeuron veröffentlicht, das auf PyTorch basiert und den Wechsel von KI-Anwendungen auf Amazons Trainium-Chip erleichtern soll. Laut Amazon genügt dafür eine einzige geänderte Konfigurationszeile, ohne den Code neu zu schreiben. Amazon und Google geben an, PyTorch-Modelle, die für Nvidia-GPUs geschrieben wurden, ließen sich mit einer Konfigurationsänderung oder minimalen Codeänderungen auf ihren eigenen Chips ausführen. Bei Deepgram lief das Transkriptionsmodell Nova-3 nach der Kompilierung mit TorchNeuron vollständig auf Trainium2. Der Kostenvorteil erforderte jedoch mehrere Monate Arbeit: neu geschriebene Rechenkerne mit AWS-Ingenieuren, eine von Grund auf neu geschriebene Faltung und eine neue Serving-Engine in Rust. Selbst geschriebene Kerne in CUDA oder Triton muss man laut den Dokumenten beider Firmen weiterhin in die Sprache der jeweiligen Chip-Architektur übertragen. Alle Zahlen stammen von den Anbietern und ihren Kunden, unabhängige Messungen fehlen. TorchNeuron ist öffentliche Beta und verlangt PyTorch 2.14.0, obwohl Version 2.15 für den 28. Oktober geplant ist. Amazon nennt Grenzen: torch.compile akzeptiert nur feste Formen, float64 läuft als float32, FP8-Quantisierung ist private Beta. Google nennt im Beitrag keine Grenzen, seine Dokumentation führt mehrere Funktionen als experimentell. Die Quellen berichten weitgehend übereinstimmend.