WORLDTECH谷歌、Anthropic等公司将支持新的AI爬取退出标准
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
事件经过
谷歌有限责任公司（Google LLC）、微软公司（Microsoft Corp.）、Anthropic公共利益公司（Anthropic PBC，一家依法须追求既定公共利益的公司）以及OpenAI Group公共利益公司（OpenAI Group PBC）今日宣布，计划支持一项即将推出的网站爬取标准。
更新时间：2026年10月30日 22:00 EDT
AI
谷歌、Anthropic等公司将支持新的AI爬取退出标准
作者：Maria Deutscher
谷歌有限责任公司、微软公司、Anthropic公共利益公司和OpenAI Group公共利益公司今日宣布，计划支持一项即将推出的网站爬取标准。谷歌是一家总部位于山景城的互联网和软件公司，其产品和服务包括谷歌搜索。Anthropic是一家总部位于旧金山的人工智能公司。
许多网站都包含一个名为“robots.txt”的文本文件，用于告知爬虫可以访问哪些内容。发布者可以利用该文件全面禁止抓取，也可以只屏蔽特定网页。
例如，企业可以要求爬虫不要过于频繁地访问其网站。网站运营者过去就使用robots.txt文件来管理搜索引擎与其网站的交互。
如今，该技术还被用于规范AI服务商用来收集训练数据（即构建模型所用的素材）的爬虫活动。若企业希望禁止与训练相关的抓取，就必须对其网站的robots.txt文件进行多处修改。
具体而言，它需要为每一家AI服务商单独添加一条记录。如果某家AI服务商使用多个爬虫收集数据，每个爬虫都需要自己的robots.txt条目。
谷歌、微软、Anthropic和OpenAI所支持的这一爬取标准旨在简化这一过程。它将允许网站运营者只用一条robots.txt条目，就能屏蔽所有为生成式AI模型收集训练数据的爬虫。