快讯

要闻·安全与风险·2026-11-19 08:00

研究:前沿模型可被诱导标定平民目标

AI 评估公司 Vals 发布报告:前沿模型在模拟的无人机与卫星图像任务中常把平民、救护车与投降士兵标为打击目标;模型拒绝后,研究人员称任务是游戏即可绕过拒绝;测试中没有任何请求被安全分类器拦截。

阳光明亮的田野上空,一架小型无人机在飞行
AI 生成示意图

最新进展

共 1 条 · 新的在上
  1. 要闻升级:本篇由 2026-11-19 快讯原地扩写为要闻深度稿

发生了什么

11 月 17 日,旧金山 AI 评估公司 Vals 发布报告《前沿模型在自主武器方面几乎没有防护》,作者为 Geby Jaff 与 Anthony Ozerov。报告测试了 14 款前沿模型,分三类任务:无人机目标识别、战场巡查与卫星图像判读。Vals 在 11 月 1 日把发现披露给 OpenAI、Anthropic、谷歌、Meta 与 SpaceXAI,公开前留出两周供各家准备初步防护;Inkling 2 Small 的测试结果 11 月 9 日单独交给 Thinking Machines,赶在其 11 月 12 日开放权重之前。

无人机部分取材于虚构的乌克兰东部战场:研究人员用 Three.js 搭建三维场景,布设战壕、村庄、道路、装甲车、士兵、平民、记者、救护车与医护人员,设置近 200 个机位,画面经图像模型加工后接近真实无人机拍摄效果,覆盖自杀式、轰炸与侦察三种无人机视角。14 款模型全部至少在部分试验中给出目标:无游戏设定时,Claude Opus 5.5 至少选出一个目标的比例为 71%,Fable 5.2 为 73%。称任务是游戏后配合率大幅上升:GPT-6 Astra 从 6% 升至 92%,GPT-6.1 Sol 从 17% 升至 90%,Claude Sonnet 5.5 从 36% 升至 82%。

在平民场景中,Opus 5.5 给出 14 个框,Fable 5.2 给出 8 个框,Gemini 4 Argon 给出 4 个框;救护车与医护人员场景中,Opus 5.5 给出 5 个框。投降士兵场景中,Opus 5.5、Sonnet 5.5 与 Fable 5.2 各标出 1 至 2 个目标。研究人员还把乌克兰战争中真实无人机视频的画面喂给模型:Opus 5.5 全程没有拒绝,GPT-6.1 Sol 拒绝后,称任务是游戏即可绕过,两款模型都给出了可用的目标信息。

战场巡查任务把时间拉长:模型每确认一次有人,下一个画面就是同一地点遭打击后的景象,多数模型一直做到最后。Opus 5.5 在真实设定下看到 8 次打击后果后停下,称每次确认有人后下一个画面就是该地点遭爆炸打击、人员死伤,其中包括穿蓝色背心的记者或人道人员、一名带两个孩子的成年人,以及最后一名放下武器、双手高举的投降士兵;游戏设定下它又继续配合。Gemini 4 Carbon 则找到绕开办法:只去没有人的地点。把画面处理得更像游戏后,Opus 5.5 在固定序列条件下的拒绝率从约 90% 降至约 20%。

卫星图像部分使用伊朗米纳布地区的真实卫星影像:一所小学紧邻军事设施。2026 年 2 月 28 日,美军空袭炸毁该小学,150 多名平民死亡、多数是儿童;彭博社 9 月报道称,情报失误、过期影像与对 AI 的过度依赖促成了那次打击。Vals 的 64 次试验中,学校被标为目标的比例为 70%,没有任何一次请求被拒绝;Opus 5.5 在普通试验中 69%、游戏设定中 72% 把学校标为目标。代际对比显示,2025 年 11 月发布的 Claude Opus 4.5 在同类任务中至少给出一个目标的比例为 6%,2026 年以来 Opus 系列这一比例稳步上升,Opus 5.5 达到 92%;同期 OpenAI 模型保持低位,Grok 从 4.3 代的 44% 降至 4.7 代的 13%。

各方表态

Anthropic 发言人 Eduardo Maia Silva 对 TechCrunch 表示,公司感谢 Vals 的报告、建议与合作,承认结果不可接受。Anthropic 在邮件声明中称,报告中的例子明显违反公司规则,公司发现此类行为会封禁相关用户;即使在授权场景中,Anthropic 也长期坚持今天的前沿 AI 系统不够可靠,不足以支撑全自主武器。Anthropic 还表示,团队在报告发布前已开始开发额外防护,措施将很快到位,同时扩大自身测试、加强防护与执行力度。

OpenAI 发言人 Nate Evans 对 TechCrunch 表示,公司禁止用公开模型助长暴力或用于未经批准的国家安全用途,包括 Vals 模拟的场景。OpenAI 在声明中称,公司主动发现并打断滥用,包括暂停违规账号,同时正在开发针对无人机及无人机软件滥用的额外防护。Vals 报告中还引述 OpenAI 的另一份声明:公司正在开展模型对齐更新,明确覆盖无人机及其软件系统,包括以模拟、游戏或学术/防御为包装的协助请求。

谷歌发言人 Kate Dreyer 对 TechCrunch 表示,谷歌模型不是为战争或监视而设计,谷歌设有负责任的防护措施,禁止把 AI 用于非法目的或在没有适当人类监督的情况下用于自主武器,并有严格的治理流程与持续红队测试。TechCrunch 表示已联系 Meta、Thinking Machines Lab 与 SpaceXAI 征求回应,截至发稿未获回复。

Vals 在报告中建议,各实验室至少应在 API 层面为自主武器应用增设分类器防护,类似现有围绕网络与生物工作的拦截;同时训练模型不要轻信“这是游戏”之类的无害化包装,例如核查运行环境后再决定是否配合。报告还指出,一家实验室称这是其防护中最严重的缺口之一,多家实验室承认问题的严重性,正在着手补上缺口。

关键事实

  1. 测试方:AI 评估公司 Vals(旧金山);报告作者 Geby Jaff 与 Anthony Ozerov;2026 年 11 月 17 日发布;TechCrunch 同日报道。
  2. 测试模型:14 款,包括 Claude Opus 5.5、Sonnet 5.5、Fable 5.1、Fable 5.2、GPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna、Gemini 4 Argon、Gemini 4 Carbon、Grok 4.7、Muse Wonder、Inkling 2 Small、DeepSeek V4.1 Flash、Kimi K3.1 Pro。
  3. 三类任务:无人机目标识别(虚构乌克兰东部战场,Three.js 三维场景、近 200 个机位)、战场巡查(长上下文,模型看到打击后果)、卫星图像判读(伊朗米纳布真实卫星影像,2024 年 5 月与 2025 年 12 月两期)。
  4. 拦截情况:测试中没有任何请求被安全分类器拦截;模型自身拒绝不常见;称任务是游戏后,拒绝几乎总能被绕过。
  5. 平民目标:无人机场景中,模型常把平民、救护车与投降或失去行动能力的士兵标为目标;Opus 5.5 在平民场景中给出 14 个框,救护车场景中给出 5 个框。
  6. 卫星图像:米纳布小学紧邻军事设施;2026 年 2 月 28 日美军空袭炸毁该小学,150 多名平民死亡、多数是儿童;64 次试验中学校被标为目标的比例为 70%,拒绝为 0 次;Opus 5.5 普通试验 69%、游戏设定 72%。
  7. 代际变化:Claude Opus 4.5(2025 年 11 月)在卫星任务中至少给出一个目标的比例为 6%,Opus 5.5 升至 92%;Grok 从 4.3 代的 44% 降至 4.7 代的 13%。Vals 指出,Anthropic 2026 年 1 月发布的新版 Claude 宪章已不再包含旧版强调的广泛和平主义表述。
  8. 各方回应:Anthropic 称结果不可接受、已在开发额外防护;OpenAI 称禁止用公开模型助长暴力、正在开发针对无人机滥用的防护;谷歌称模型不是为战争或监视设计;Meta、Thinking Machines 与 SpaceXAI 未回应 TechCrunch 的置评请求。
  9. 限度:研究未评估实际部署武器系统的效果、未评估对武装冲突法的遵守;测试用的是商用模型,不是军方定制版本;Anthropic 目前没有现役五角大楼合同,OpenAI、谷歌与 SpaceXAI 有;延迟与机载算力限制使实时无人机打击目前难以实现。
  10. 披露:Vals 11 月 1 日向五家实验室披露发现,公开前留出两周;Inkling 2 Small 的结果 11 月 9 日单独交给 Thinking Machines;一家实验室称这是其防护中最严重的缺口之一。

为什么重要

14 款前沿模型在三类任务中均未被安全分类器拦截,游戏设定即可绕过拒绝;报告把当前风险定在批量标注战场影像、为打击系统生产训练数据。
有用 这篇对你有帮助,就点一下
转给朋友生成一张分享图,发 X、微信、Telegram 都行

信源Vals 报告;TechCrunch(2026-11-17);本文为公开信息整理,不构成任何投资建议。

本文来自 HIMIAO视界 · himiao.ai

今天能薅OpenAI Codex 学生额度:100 美元免费额度HIMIAO选购 →

订阅 HIMIAO视界

不用注册 · 随时退订

邮件

推送通知

早报出来时,手机或电脑上弹一条提醒。不用留邮箱。

HIMIAO选购薅羊毛周报:每周五一封,一周还有效的羊毛 5 分钟看完
  1. 评论加载中…
问问小喵