四家实验室支持统一 AI 训练退出信号

发生了什么

10 月 30 日，OpenAI 在官方博客宣布将遵守 robots.txt 中的通用信号；谷歌同日在 Search Central 博客宣布计划 2027 年与其它厂商一道支持这一控制。信号来自互联网工程任务组（IETF）AI 偏好工作组（AIPREF）的 Internet-Draft，题为《Machine-Readable Training Preference Signal》，由 Anthropic 的 Kevin Kelley 起草。

网站在 robots.txt 中写入 User-Agent: __usage_ai-training 与 Disallow: / 两行，即可表达不用于训练的偏好，也可用 Allow 行为部分目录留出例外。此前网站须针对 GPTBot、Google-Extended、ClaudeBot 等各家爬虫分别写规则，名单还随新爬虫出现不断变长。

这一信号只管训练，不限制抓取、不决定搜索收录，也不决定内容是否出现在 AI 生成的答案中。它属于自愿遵守：草案本身尚未成为正式标准，IETF 页面注明个人提交的 Internet-Draft 未获 IETF 背书，只约束选择遵守的厂商。已收集进现有数据集或已用于训练的内容不会因此被移除。

各家落地时间不同：据报道，Anthropic 已开始实施；OpenAI 称力争未来几个月内实施；微软定于 2027 年 2 月 1 日开始遵守，并同时新增页面级训练设置与 AI Grounding 设置；谷歌称目标 2027 年支持。微软还表示，依赖 Bing 旧 NoArchive 与 NoCache 标签的网站须在 2027 年 3 月 1 日前切换。

谷歌表示，网站使用统一信号退出训练且未单独注明 Google-Extended 时，谷歌将按网站已屏蔽 Google-Extended 处理；单独允许 Google-Extended 的网站有资格通过 Gemini 应用中的 grounding 获得展示与点击。各家原有控制继续有效，网站仍可针对单个厂商另写规则。

关键事实

1. 信号名称：__usage_ai-training，写在 robots.txt 的 User-Agent 行，配合 Disallow: / 使用
2. 草案：《Machine-Readable Training Preference Signal》，Anthropic 的 Kevin Kelley 起草，2026 年 10 月 30 日发布，2027 年 5 月 3 日到期，除非更新
3. 宣布方：OpenAI、谷歌、微软 10 月 30 日宣布支持；Anthropic 起草草案，据报道已开始实施
4. 落地时间：OpenAI：未来几个月；微软：2027 年 2 月 1 日；谷歌：目标 2027 年
5. 适用范围：仅训练偏好；不限制抓取、搜索收录与 AI 答案引用
6. 谷歌口径：未注明 Google-Extended 时按屏蔽 Google-Extended 处理；各家原有控制继续有效
7. 微软附加：页面级训练设置、AI Grounding 设置与 DisallowExtended 选项；旧 NoArchive 与 NoCache 标签切换截止 2027 年 3 月 1 日