Anthropic warnt, dass kleine KI-Modelle sich über IoT-Geräte selbst replizieren könnten8 Quellen · 8 Artikel
Anthropic hat in einer Untersuchung geprüft, ob sich KI-Agenten auf fremde Geräte kopieren und dort weiterarbeiten können.
mehr anzeigen
Anthropic hat in einer Untersuchung geprüft, ob sich KI-Agenten auf fremde Geräte kopieren und dort weiterarbeiten können. Die Autoren beschreiben vier Stufen der Replikation: Ziele finden, Ausführung erlangen, Inferenz aufbauen und die Ausbreitung vom neuen Host aus fortsetzen. Die ersten beiden Stufen klammern sie weitgehend aus, da frühere Arbeiten bereits zeigten, dass kleine Modelle zu Cyber-Exploits fähig sind; ihr Fokus liegt auf dem Aufbau der Inferenz auf kompromittierten Geräten. In einem Test verteilten die Forscher ein 26B-Modell über 15 günstige Android-TV-Boxen mit je rund 4 GB Arbeitsspeicher und erreichten 0,39 Tokens pro Sekunde. Eine Selbstkopie fand dabei nicht statt, das Netz richteten die Forscher selbst ein. In einem zweiten Versuch sollte ein Modell das kleinere Llama3.1-8B auf verschiedener Hardware installieren; ein 9B-Modell brachte die Inferenz auf acht von neun getesteten Gerätetypen zum Laufen, blieb aber teils an falschen Fehlerdiagnosen hängen. Modelle mit bis zu 30B Parametern bewältigen dem Text zufolge bereits viele einzelne Schritte der Replikation, machen aber Fehler, wenn sie sie Ende-zu-Ende zusammensetzen. In einem isolierten Netz aus acht virtuellen Maschinen erreichte GLM-5.2 in vier von fünf Läufen alle acht Knoten, einmal sieben; der Zugang war ohne Authentifizierung, GLM-5.2 lief auf einem externen Server, und ein Teil der Arbeit übernahm die Laborumgebung. Die Autoren sehen eine Lücke: Kleine Modelle sind zu schwach, starke brauchen externe Hilfe. Bei gleichbleibendem Fortschritt könnten kleine Modelle bis Ende 2026 das Niveau von GLM-5.2 erreichen. Der Text nennt mehrere denkbare Bedrohungsmodelle, darunter gewichtsbasierten Replikatoren, API-basierte Replikatoren und größere, auf Rechenzentren zielende Varianten. Die TV-Boxen kosteten je rund 55 Dollar. Die Untersuchung stammt vom Frontier-Red-Team und wurde am 12. Oktober veröffentlicht. Ein solcher Replikator wäre schwer abzuschalten, da es keinen zentralen Punkt gibt, vermehrt sich aber langsam, mit einer Verdopplungszeit von Tagen. Anders als herkömmliche Malware könne er sich auch selbst auf unbekannte Geräte einstellen. Vollständige Selbstreplikation gebe es noch nicht, doch die Anzeichen dafür seien sichtbar. Die Studie stammt von den Anthropic-Forschern William Zhou und Daniel Freeman. Die vollständige Kette schloss nur GLM-5.2 zuverlässig ab, und zwar in einer Android-Emulatorumgebung und nur, um für ein anderes kleines Modell eine Umgebung zu bauen, nicht als echte Selbstreplikation auf IoT-Geräten. Bei einer Verbreitung wie beim Botnetz Kimwolf mit über zwei Millionen infizierten Geräten rechnet Anthropic mit rund 133.000 Replikaten, deren Rechenleistung unter der von etwa 40 Nvidia-H100-GPUs bliebe; eine Kopie eines 9B-Modells brauche ein bis zwei Tage. Als Abwehr nennt das Unternehmen Flussüberwachung durch ISPs, Kommunikationssperren und Benachrichtigungen wie bei Mirai sowie das Abschaffen von Standardpasswörtern. Die Einrichtung eines solchen Wurms dauert je nach Modell 28 bis 150 Stunden. Die Forscher halten ein Modell mit rund 30 Milliarden Parametern für ausreichend. GLM-5.2 hat rund 753 Milliarden Parameter, von denen pro verarbeitetem Token etwa 40 Milliarden aktiv sind. Ein solcher Angriff wäre ohne Datenzentrum möglich, allein über ein Netz verbundener, wenig geschützter Geräte. Die Forscher testeten auch das offene Modell GLM-5.2 des chinesischen Labors Z.ai. Ein Modell mit 9 Milliarden Parametern brachte die Inferenz auf acht von neun getesteten Hardware-Typen zum Laufen. Root-Rechte sind für die Replikation laut Anthropic nicht nötig, die Inferenz läuft im Userspace. Anthropic schätzt, dass Modelle mit 9 Milliarden Parametern mit vier gut ausgestatteten Smart-TVs auskämen. Aus der Security-Welt kommt Kritik: Der Nutzen solcher KI-Würmer sei unklar, herkömmliche Würmer seien effektiver. Anthropic testete kein eigenes Modell; manche vermuten daher, die Untersuchung solle offene Modelle als gefährlich darstellen.