Google, Anthropic und weitere wollen neuen Opt-out-Standard für KI-Crawler unterstützen

Was passiert ist

Google LLC, Microsoft Corp., Anthropic PBC (ein Unternehmen, das gesetzlich verpflichtet ist, einen erklärten öffentlichen Nutzen zu verfolgen) und OpenAI Group PBC haben heute angekündigt, einen kommenden Standard für das Crawling von Websites unterstützen zu wollen. AKTUALISIERT 22:00 EDT / 30. OKTOBER 2026 KI Google, Anthropic und weitere wollen neuen Opt-out-Standard für KI-Crawler unterstützen von Maria Deutscher Google LLC, Microsoft Corp., Anthropic PBC und OpenAI Group PBC haben heute angekündigt, einen kommenden Standard für das Crawling von Websites unterstützen zu wollen. Google ist ein Internet- und Softwareunternehmen mit Sitz in Mountain View, zu dessen Produkten und Diensten unter anderem die Google-Suche gehört. Anthropic ist ein Unternehmen für künstliche Intelligenz mit Sitz in San Francisco.

Viele Websites enthalten eine Textdatei namens „robots.txt“, die Crawlern mitteilt, auf welche Inhalte sie zugreifen dürfen. Ein Publisher kann die Datei nutzen, um Scraping generell zu blockieren oder nur bestimmte Webseiten unzugänglich zu machen.

Unternehmen können Crawler beispielsweise bitten, ihre Website nicht zu oft aufzurufen. Betreiber von Websites nutzten robots.txt-Dateien früher, um zu steuern, wie Suchmaschinen mit ihren Angeboten interagieren.

Heute hilft die Technik auch dabei, die Aktivitäten der Scraper zu regulieren, mit denen KI-Anbieter Trainingsdaten (das Material, aus dem ein Modell aufgebaut wird) sammeln. Ein Unternehmen, das Scraping zu Trainingszwecken untersagen will, muss mehrere Änderungen an der robots.txt-Datei seiner Website vornehmen.

Insbesondere muss es für jeden einzelnen KI-Anbieter einen eigenen Eintrag hinzufügen. Arbeitet ein KI-Anbieter mit mehreren Scrapern zur Datensammlung, benötigt jeder Scraper seinen eigenen robots.txt-Eintrag.

Der Crawling-Standard, den Google, Microsoft, Anthropic und OpenAI unterstützen, soll dieses Verfahren vereinfachen. Website-Betreiber könnten damit alle Scraper blockieren, die Trainingsdaten für generative KI-Modelle sammeln, und zwar mit einem einzigen robots.txt-Eintrag.