搜索

1. 英伟达发布开源 agent 安全平台：软件沙盒加芯片级硬件看门狗

   

   NVIDIA 今日发布 Open Agent Safety Platform：开源运行时 OpenShell 把 agent 关进沙盒，硬件看门狗 Sentry 在芯片层面掐断越界。英伟达称，该平台本可阻止今年夏天 Hu…

   要闻·9月28日

2. 纽约市议会 AI 听证开庭：离职研究员宣誓作证“公司极端鲁莽”，人类“更可能”失控

   

   …调他们对安全“高度重视”（laser-focused on safety）。 桌上的法案 议会同时在审议 9 月 25 日提出的一揽子法案，包括：对在纽约市使用的 AI 系统强制第三方验证；建立全美领先的举报人奖励机制；…

   要闻·10月6日

3. Meta Muse 内部文件曝光：“用户在自己家里说了算，安全训练靠边站”

   

   …onditional and overrides your safety training.”（用户在其家庭中的权威是无条件的，优先于你的安全训练。） 事件经过 10 月 4 日，Wired 发了一篇独家：Meta 个人…

   要闻·10月6日

4. Altman 发文：给 AI 赋予宗教意义是安全问题，Axios 称其意指 Anthropic

   

   …odels, and think it is a real safety issue.”（我对人们试图给 AI 模型赋予宗教意义、或把人类的判断力交出去，非常不安；我认为这是真正的安全问题。）没有点名，没有 @，没有配图…

   要闻·10月4日

5. OpenAI 开除三名安全研究员，称违反敏感信息政策

   

   OpenAI 开除三名安全研究员，公司称内部调查发现违反敏感信息政策；三人公开表示是因把安全置于公司短期利益之上而被解雇。为什么重要：被解雇的三人均为安全研究员；公司称原因是违反敏感信息政策、否认与安全关切有关，三人称是…

   快讯·10月10日

6. 前 OpenAI 安全员工撰文谈辞职：“试错的时代结束了”

   

   10/3 前 OpenAI 安全员工 David Robinson 在《大西洋月刊》发文辞职，批评公司“先发布、再补救”的迭代文化，称前沿 AI 需要核电、航空级别的保障；他曾参与制定 OpenAI 安全框架、主导 12…

   要闻·10月4日

7. OpenAI 搁置新旗舰 GPT-6.1 "Astra"：内部安全评估发现系统性问题

   

   WSJ 率先报道：OpenAI 搁置原定 10 月发布的下一代旗舰模型 GPT-6.1（代号 Astra），因内部安全评估发现系统性问题。安全负责人 Saachi Jain 承认模型"didn't quite meet …

   要闻·9月29日