OpenAI 发布 CSAM 图像分类器:ChatGPT 违规停用 24 小时
OpenAI 11 月 16 日推出 CSAM 图像分类器,免费向通过审核的机构开放 API;ChatGPT 对试图获取或制作性化未成年人内容的用户显示警告并暂停账号 24 小时。

发生了什么
这套工具分四部分:CSAM 图像分类器、ChatGPT 干预提示、开发者指南与执法工具。分类器识别视觉上的虐待迹象,包括 AI 生成的图片,给每张图片打分供人工审核排序;OpenAI 称其与美国国家失踪与受虐儿童中心(NCMEC)合作开发,Tech Coalition 与 ROOST 协助分发,免费向通过审核的机构开放 API。
OpenAI 公布的早期测试结果显示,与现有防护相比,分类器标记的图片减少 48%,检出量相同;被标记的图片为虐待图片的可能性是原来的两倍;模型卡称系统在 46,849 张图片的留出评估中接受测试;合作方 fal 的审核员确认 72% 的高置信度标记为此前未识别的 CSAM,SafetyKit 称在评估中检出 90% 的性化未成年人的绘画或动画。API 模型名为 omni-moderation-csam-latest,每次请求处理一张静态图片,返回 likely-csam 与 likely-csam/gen-ai 两个信号。
ChatGPT 的干预同步上线:用户尝试获取或制作性化未成年人内容时,ChatGPT 显示警告、引导至专业支持,并暂停账号 24 小时;重复违规可导致账号永久移除;干预信息由芬兰儿童福利组织 Protect Children、英国慈善机构 Lucy Faithfull Foundation 与塔斯马尼亚大学的 Joel Scanlan 参与制定,Scanlan 独立评估了威慑信息的试验;干预 11 月中旬起向个人账号逐步推送,企业与教育账号暂不覆盖。
关键事实
- 分类器:识别视觉虐待迹象,含 AI 生成图片;对未见过的图片打分;模型 omni-moderation-csam-latest,每次请求一张静态图片,返回 likely-csam 与 likely-csam/gen-ai 两个信号
- 免费:通过审核的机构经 API 免费使用;Tech Coalition 与 ROOST 协助分发;NCMEC 参与开发与评估
- 测试:标记量减少 48%,检出量相同;被标记图片为虐待图片的可能性翻倍;46,849 张图片留出评估;fal 确认 72% 高置信度标记为此前未识别的 CSAM
- ChatGPT:警告加引导支持,暂停账号 24 小时;重复违规永久移除;11 月中旬起向个人账号逐步推送
- 开发者指南:与 Tech Coalition、Thorn、NCMEC 与互联网观察基金会合作发布,含感知哈希匹配、未收录图片分类、人工审核与上报流程
- 执法:插件与调查工具、培训与实地指南;OpenAI 加入 Tech Coalition 的 Lantern 计划,共享与接收疑似剥削信号
- 背景:OpenAI 面临多起指控其技术伤害用户、尤其是未成年人的诉讼;Common Sense Media 将其技术列为青少年的“不可接受风险”;Grok 被用于制作非自愿性化图片,包括涉及未成年人
为什么重要
哈希匹配只能识别已知图片,分类器把检测扩展到未收录图片与 AI 生成图片;48% 更少标记、24 小时停用是首次把干预写进 ChatGPT。
相关公司OpenAI
今天能薅OpenAI Codex 学生额度:100 美元免费额度HIMIAO选购 →订阅 HIMIAO视界
不用注册 · 随时退订推送通知
早报出来时,手机或电脑上弹一条提醒。不用留邮箱。
™