WORLDTECHGoogle, OpenAI, Anthropic und Microsoft unterstützen neue robots.txt-Steuerung gegen KI-Scraping
Google, OpenAI, Anthropic und Microsoft haben sich verpflichtet, eine neue robots.txt-Anweisung zu beachten, mit der Website-Betreiber festlegen können, ob ihre Inhalte für das Training generativer KI ausgelesen werden dürfen, wie Engadget berichtet.
Ein gemeinsames Signal statt Regeln je Crawler
Laut dem Bericht wollen die vier Unternehmen ein gemeinsames Signal in der robots.txt unterstützen, das Scraping für das KI-Training blockiert. Engadget weist darauf hin, dass Website-Betreiber bislang jeden einzelnen Crawler identifizieren und für jeden Anbieter eigene Regeln schreiben müssen, was der neue Ansatz vereinfachen soll.
Das Signal beruht auf einem Vorschlag, den die IETF, die offene Standardisierungsorganisation für das Internet, derzeit prüft. Die Unternehmen haben sich entschieden, ihn zu übernehmen; verfasst wurde er von Kevin Kelley, technischer Leiter für Standards bei Anthropic.
So könnten Verlage die Steuerung einrichten
Verlage würden in ihrer robots.txt-Datei einen eigenen User-Agent für das KI-Training anlegen. Engadget nennt als Beispiel eine Regel namens __usage_ai-training mit einem Disallow-Eintrag für die gesamte Seite, die Crawler blockiert, die Daten für das KI-Training sammeln.
Mit einer Allow-Zeile lassen sich Ausnahmen festlegen. Der Bericht nennt als Beispiel ein Pressekit, das eine Seite für das KI-Training freigeben könnte, während der übrige Auftritt gesperrt bleibt.
Offene Fragen
- Wann das Signal bei den Crawlern der vier Unternehmen greifen wird?
- Ob der IETF-Vorschlag formal als Standard verabschiedet wird?