Im Quellenvergleich
Alle Inhalte werden von KI erstellt. Dieser Überblick fasst zusammen, worin sich mehrere Quellen einig sind und worin sie sich unterscheiden — die Bewertung bleibt dir überlassen.
Cloudflare hat eine neue Einstellung namens „Disallow AI Training“ vorgestellt. Sie erlaubt Website-Betreibern, das Crawlen für die Suche weiter zuzulassen, aber das KI-Training durch denselben Crawler zu untersagen. Die Funktion steht allen Kunden in allen Tarifen zur Verfügung. Betroffen sind besonders Mehrzweck-Crawler wie Applebot, Googlebot und Bingbot, die Suche und Training unter derselben Bot-Kennung verbinden. Cloudflare veröffentlicht die Präferenz in der robots.txt und klassifiziert die zugreifenden Crawler. Reine Trainingsbots von Amazon, Anthropic, Meta und OpenAI blockiert der Anbieter technisch in seiner vorgeschalteten Infrastruktur. Apple und Google unterstützen die Trennung bereits. Microsoft will bis Anfang 2027 folgen; bis dahin müssen Betreiber, die Bing-Training ablehnen wollen, etwa den „NOARCHIVE“-Tag im HTML einsetzen. Die Änderungen gelten seit dem 15. September für Bot Management und AI Crawl Control. Die Pauschaloption „Block AI Bots“ wird durch feinere Kategorien ersetzt, die verwaltete robots.txt durch Bot Preference Sync. Bestehende Konfigurationen will Cloudflare automatisch übertragen. Die Quellen berichten weitgehend übereinstimmend.