Im Quellenvergleich
Worin die Quellen übereinstimmen
OpenAI lässt Hunderte Auftragnehmer echte ChatGPT-Gespräche lesen, um die Antworten des Chatbots zu bewerten und zu verbessern. Die Prüfer bewerten Antworten auf einer Skala von eins bis sieben und sollen unter anderem übertriebene Schmeichelei und menschenähnliches Verhalten des Modells reduzieren. Die Prompts können sensible persönliche Daten enthalten. OpenAI setzt einen Privacy-Filter ein, räumt aber ein, dass dieser Fehler machen kann. Die Auftragnehmer werden über die Recruiting-Firma Crossing Hurdles angeworben und über das KI-Trainingsunternehmen Mercor bezahlt. Ein in Nordamerika ansässiger Prüfer gab an, mehr als 50 Dollar pro Stunde zu verdienen. Nutzer können die standardmäßig aktivierte Einstellung „Modell für alle verbessern“ deaktivieren, damit ihre Chats nicht zur Modellverbesserung genutzt werden. Anthropic bestätigte, ebenfalls menschliche Prüfer einzusetzen. Die Quellen berichten weitgehend übereinstimmend.
Worin sie sich unterscheidenAblauf der Prüfarbeit·Inhaltliche Vorgaben an das Modell·Kenntnis der Nutzer von der menschlichen Prüfung+6 weitere
Ablauf der Prüfarbeit- Die Auftragnehmer arbeiten in drei Schritten: Sie lesen den Prompt, fassen zusammen, was der Nutzer will, und bewerten vier von ChatGPT erzeugte Antworten.1
Inhaltliche Vorgaben an das Modell- Interne Dokumente zeigen, dass die Prüfer dem Modell beibringen sollen, sich nicht zu vermenschlichen und weniger unterwürfig zu sein.1
- Ein Dokument nennt „AI-speak“ und „emoji misuse“ als Abzüge, wenn sie „hurt the user’s experience“.1
- Antworten sollen den Ton des Nutzers „generally match, but slightly less intensely“ treffen.1
Kenntnis der Nutzer von der menschlichen Prüfung- Die meisten der mehr als 900 Millionen ChatGPT-Nutzer dürften nicht wissen, dass Menschen ihre Chats lesen könnten.1
- Ein Prüfer sagte, er glaube nicht, dass Nutzer wüssten, dass Menschen ihre Chats lesen.2
Umgang mit sensiblen Inhalten in Prompts- Unter den geprüften Prompts fanden sich Gespräche, in denen Nutzer ChatGPT ausdrücklich baten, die Inhalte für sich zu behalten.2
Offenlegung der menschlichen Prüfung durch OpenAI- OpenAI beantwortete die Frage nicht, ob es Nutzer ausdrücklich darüber informiert habe, dass Menschen ihre Prompts lesen.1
- OpenAI weist nur in einem FAQ auf die menschliche Prüfung hin, in dem autorisiertes Personal und Dienstleister Nutzerdaten unter anderem zur Verbesserung der Modellleistung einsehen dürfen und Nutzer keine sensiblen Informationen eingeben sollen.2
- Der Hinweis ist seit mindestens 2023 online.2
- Nach der Anfrage von 404 Media aktualisierte OpenAI die Hilfeseite zu dieser Einstellung, erwähnt darin aber weiterhin nicht, dass Menschen Prompts lesen könnten.1
- 404 Media kritisiert, diese Offenlegung sei zu versteckt und nicht konkret genug.2
Geltungsbereich der Einstellung „Modell für alle verbessern“- Die Einstellung ist bei kostenlosen, Plus- und Pro-Plänen standardmäßig aktiv, bei Enterprise-, Business- und Edu-Kunden standardmäßig aus.1
- Die Einstellung gilt nur für neue Gespräche.2
Zusätzliche Datenschutzoptionen- OpenAI bietet einen temporären Chat an, bei dem die Daten laut Unternehmen nicht zur Modellverbesserung verwendet werden.2
Weitere Details zum Projekt- Das Material nennt nur den Codenamen „Project Lily“ und lässt offen, welches Modell die Reviewer trainieren.1
- Ein Auftragnehmer beschreibt die Arbeit als „very rote“ und „all over the place“, die Richtlinien änderten sich oft und wirkten widersprüchlich.1
Menschliche Prüfung bei anderen KI-Unternehmen- Google nutzt ebenfalls menschliche Prüfer und weist bei Gemini darauf hin, dass Menschen gespeicherte Chats prüfen können.2