Anthropic上线Message Threads:长会话只发新消息
Anthropic 11 月 2 日在 Messages API 推出 Message Threads 公开测试版:首个请求发送完整对话,之后各轮只发送新消息与上一条回复的 ID,服务端在内存中暂存会话。

发生了什么
此前,智能体每轮请求都要把此前的全部消息与工具结果重新发送一遍,对话达到几十万 token 后,重发本身就会拖慢模型开始回答的速度。Anthropic 11 月 2 日推出的 Message Threads 正是针对这一环节:首个请求发送完整对话并建立线程,之后各轮只发送新消息与上一条回复的 ID。
Anthropic 表示,Claude Code 大多数用户已默认开启该功能;在 50 万至 100 万 token 的请求上,首字延迟(TTFT)中位数下降约 35%。长对话中,单次请求的中位数从约 800KB 降至 1.8KB,降幅来自不再重复上传历史内容。
线程在服务端内存中加密保存、不写入磁盘,上一轮请求后 5 分钟无活动即过期,过期后客户端需重新发送完整对话。Anthropic 同时提醒,模型每轮仍会完整读取对话,因此 token 用量、计价与速率限制不变;该功能也不适用于零数据留存、HIPAA 相关机构与启用推理钩子的组织。
关键事实
- 上线时间与状态:Anthropic,2026 年 11 月 2 日,Messages API 的 Message Threads 公开测试版
- 使用方式:首个请求带 thread 参数发送完整对话、系统提示与工具;后续请求只发新消息与上一条回复 ID
- 延迟效果:50 万至 100 万 token 请求的中位首字延迟下降约 35%,长对话单次请求中位数从约 800KB 降至 1.8KB
- 保留规则:线程仅存于加密内存、不写磁盘,5 分钟无活动过期,无列出、读取或删除线程的 API
- 覆盖平台:Claude 原生平台、AWS 上的 Claude 平台、Microsoft Foundry 中的 Claude、Anthropic 管理的 Google Cloud 上的 Claude 模型
- 计费与限制:token 用量与价格不变;不支持 Message Batches、按需压缩与多数上下文编辑功能
为什么重要
长会话每轮重发全部对话的做法首次由服务端缓存接管,首字延迟降约 35%,而计费与用量规则不变,智能体长会话的延迟瓶颈从传输转向模型本身。
相关公司Anthropic
订阅 HIMIAO视界
不用注册 · 随时退订推送通知
早报出来时,手机或电脑上弹一条提醒。不用留邮箱。
评论
相关新闻
今天
11月4日 星期三- 早报Fal 完成13亿美元F轮融资,估值160亿美元
共 3 条
- 周榜GitHub 周榜 Vol.4:本周 6 个值得看的项目
实测 + 读码,每周一期往期 →
- 三问
- 预测
™