此刻 — 人在看
快讯

评测 8.2·模型与产品·2026-10-12 11:34

实测 Perplexity pplx-embed-v2-late:0.6B 小模型,查 9B 大索引

10 月 7 日,Perplexity 在 Hugging Face 发布 pplx-embed-v2-late 两个尺寸(0.6B 与 9B,MIT 许可)。两个模型为每个词元输出一个 128 维向量,用 MaxSim 打分,可检索文本、图片和渲染后的 PDF 页面。本次评测包含两部分:Perplexity 官方博客公布的跑分(注明测试条件),以及在一台 2 核 CPU、7GB 内存的机器上对 0.6B 版的本地实测。

明亮桌面上摆着笔记本电脑与带图表的文档纸页,上方有发光的检索圆环
封面为 AI 生成示意图

最新进展

共 1 条 · 新的在上
  1. 评测首发:汇总官方公布跑分,并完成 0.6B 版的本机 CPU 实测。

评分卡

8.2/ 10

HIMIAO视界评分

检索质量数据完整、双尺寸共用索引的设计可直接落地;短板在跑分未经第三方复现与托管 API 缺席。

优点

  • 官方跑分覆盖文本、视觉文档与智能体问答三类任务,0.6B 版在 ViDoRe v3 Markdown 与 MADQA 上接近大尺寸模型

  • 两个尺寸共享向量空间,索引与查询可分开选型;本机 CPU 实测 0.6B 版可正常加载并完成中英双语与图片检索

  • MIT 许可,权重发布当天可下载,可商用

缺点

  • 全部官方跑分为 Perplexity 自行公布,技术报告未出,无第三方复现

  • 托管 API 尚未上线,现阶段只能自托管部署

  • 每词元一个向量,长文档索引体积随长度增长;单个输入不能混排文本与图片

适合谁

适合需要检索 PDF、幻灯片等视觉文档、且能自托管模型的研发团队;适合先用 0.6B 版做查询端、9B 版做离线索引的 RAG 系统。

01事件经过

pplx-embed-v2-late 属于晚交互(ColBERT 式)检索模型:文档不压缩成单个向量,而是保留每个词元的向量,查询时逐词元取最高相似度再求和(MaxSim)。模型基于 Qwen3.5 构建,使用双向注意力;两个尺寸由同一个 18B 教师模型蒸馏而来,训练数据为 1.86 亿对查询—文档,覆盖 46 种语言,其中文本对占 88.3%、文本—图片对占 8.3%、文本—视觉文档对占 3.4%。

0.6B 版总参数 5.94 亿,其中文本编码实际激活约 2.4 亿、图片编码约 3.4 亿;9B 版激活参数 74 亿。Perplexity 称两个尺寸共享同一向量空间:用 9B 建好的索引,可以直接用 0.6B 编码查询。发布当天权重已可下载,托管 API 尚未上线,完整技术报告计划今年晚些时候发布。

02实测方法与结果

一、官方公布跑分(Perplexity 博客,2026-10-07)

视觉文档检索 ViDoRe v3(公开子集,nDCG@10):图片检索 0.6B 版 62.3%、9B 版 65.2%;页面转 Markdown 后的文本检索 0.6B 版 61.2%、9B 版 64.7%,其中 0.6B 版在该项排在全部外部模型之前、次于自家 9B 版。72 项领域文本任务平均分:0.6B 版 78.0%、9B 版 81.3%,9B 版比参评的下一名高 1.6 个百分点。网页规模检索 Q2D-Web(约 7 万条查询、1.9 亿篇文档,Recall@1000,Combined 判定集):0.6B 版 73.6%、9B 版 74.8%,此前最好成绩为 69.3%。

智能体问答 MADQA(800 份 PDF、1.8 万余页、500 道人工问题,智能体为 Gemini 3.5 Flash,按答案准确率计):9B 版 92.4%、0.6B 版 90.1%,比同一智能体搭配 Mixedbread 检索器的 88.9% 分别高 3.5 和 1.2 个百分点。BrowseComp+(智能体为 GPT-OSS-120B):9B 版答案准确率 64.0%,比下一名 ColBERT 模型高 4.9 个百分点。跨尺寸检索:索引用 9B、查询用 0.6B 时,ViDoRe v3 图片检索为 63.5%(双 0.6B 时为 62.3%),领域任务平均分提高 1.6 个百分点;Perplexity 称该组合在文本任务上收回了两个尺寸之间约一半的质量差距,查询编码成本不变。以上数字均为 Perplexity 自行公布,技术报告尚未发布,暂无第三方复现。

二、本机实测(0.6B 版,CPU)

测试环境:2 核 CPU、7GB 内存的 Linux 机器,无 GPU;sentence-transformers 6 与 transformers 5 的当前版本,模型从 Hugging Face 下载后在本机加载。语料为本次评测自写的 20 段短文(英文 16 段、中文 4 段,主题互不重叠),查询 12 条(英文 9 条、中文 3 条),每条有且仅有一段对应原文。结果:首位命中率(Recall@1)100%,前三命中率(Recall@3)100%,平均倒数排名(MRR@10)1.00。20 段文档编码耗时 13.4 秒;每条查询的编码加打分平均 0.7 秒(CPU 条件下,不代表 GPU 或生产环境速度);进程峰值内存约 1946 MB。

跨模态一项:一张自制的季度结果页图片(含产品名、出货量与缺陷率三项数据)加入语料后,用文本查询检索。3 条测试查询里 3 条排序符合预期:询问图中数据的两条查询把该页排在第一位,无关查询没有把该页排到第一位。该项样本量为 3 条,只作功能核对,不作精度结论。

本机实测的限制:9B 版权重在本机内存条件下未加载,本次没有其实测数据;本地语料为自写短文,难度低于 ViDoRe 与 MADQA 的真实文档,命中率不能与官方跑分直接比较。评分依据为官方公布跑分、跨尺寸检索的公布数据与上述本机结果三部分。

03关键事实

  1. 发布时间:2026 年 10 月 7 日,权重同日在 Hugging Face 上线,MIT 许可,可商用。
  2. 结构:晚交互(ColBERT 式),每个词元一个 128 维向量,MaxSim 打分;单个输入不能同时混排文本与图片,需分开编码。
  3. 存储代价:向量数随文档词元数增长,长文档索引体积高于单向量模型;官方对比中参评视觉模型的单向量维度为 2048 至 4096 维,本模型为每词元 128 维。
  4. 可用方式:自托管下载运行,需要 sentence-transformers 6.0.0 与 transformers 5.4.0 或更高版本;Perplexity 托管 API 尚未上线。
  5. 未决事项:完整技术报告计划今年晚些时候发布;官方跑分暂无第三方复现。

为什么重要

两个尺寸共享同一向量空间,9B 离线建索引、0.6B 在线查询;据 Perplexity 数据,该组合收回了两款约一半的质量差距,查询成本不变。
有用 这篇对你有帮助,就点一下

信源Perplexity 官方博客(2026-10-07,原文);Hugging Face 模型卡(2026-10-07,原文);MarkTechPost(2026-10-07,原文)。本文为公开信息整理,不构成任何投资建议。

本文来自 HIMIAO视界 · himiao.ai

  1. 评论加载中…
问问小喵