编者摘要：
苹果新出的 LensVLM，简单说就是给长篇文档做了一套 “图片目录 + 按需翻页” 的新方案。处理几百页 PDF 时，它不直接把全部文字塞进大模型，而是把每一页转成小小的缩略图当成索引，完整原文另外存好。提问的时候，模型先快速扫一遍所有页面缩略图，判断哪些页面和你的问题有关，只把这几页的完整文字调出来细读回答，剩下页面只保留缩略图，省下大量 token 开销。
现在常用的长文档方案各有毛病：RAG 需要切割文档，切不好容易漏信息；直接喂全文花钱多；文档摘要会丢失细节。LensVLM 不用切文档，原始内容一点不丢，只在需要的时候加载原文。测试显示最高能做到 10 倍压缩，效果优于普通 RAG。但它还属于实验模型，没有大量真实场景验证，而且许可证限制商用。另外它是 9B 多模态模型，对硬件要求高，更适合几百页文档、每次提问只用少数页面的场景，暂时没法直接拿来替换线上 RAG 系统。
附录：LensVLM论文解读
论文标题：LensVLM: Selective Context Expansion for Compressed Visual Representation of Text（LensVLM：面向文本的压缩视觉表示，选择性上下文展开） 核心一句话：把文档每页渲染成低分辨率图像，用少量视觉 token 快速通读全文档；模型自主判断哪些页面相关，调用工具把选中页面解压还原成完整文本，再做精细问答，实现无损、按需加载长文档Apple Mach...
一、模型基础信息
-
模型： apple/LensVLM-9B，同时提供 2B/4B 版本，基于 Qwen3.5-9B-Base做后训练（SFT+RL 强化学习） -
任务：image-text-to-text，VLM 视觉语言模型 -
许可证： apple-amlr（Apple 自研许可，不是开源商用许可，商用前必须逐条审核） -
arXiv：2605.07019 -
标签： long-context、visual-text-compression（视觉文本压缩）
二、完整工作流程（论文原版）
- 文档预处理：页面渲染为压缩图像
将 PDF / 长文档逐页渲染成图片；VLM 图像编码器会把图片映射成固定数量视觉 token（24/48/72 三种压缩档位，ICR 压缩倍率）。低分辨率图像的视觉 token 远少于页面原始文本 token，实现压缩存储。 注意：不是丢掉原文，原文 / OCR 文本单独保存，图像只是廉价索引。
- 粗扫阶段：模型看全部压缩图，定位相关页
模型一次性接收全部页面的压缩图像，快速浏览整份文档，学习判断哪些页面可能包含答案。这一步开销很低，不需要把全文文本喂进上下文。 - 工具调用：选择性展开（Selective Expansion）
模型学到工具调用能力，主动选中相关页面，触发「解压」：把该页面对应的完整原始文本 / OCR加载进上下文；无关页面仍然只保留廉价图像表示，不占用文本 token 预算。 - 精细问答：基于展开后的原文回答问题
论文关键结论：模型并不是靠低分辨率图像识别小字做精细问答，图像仅用来检索定位；真正用来推理的，还是解压出来的完整文本。压缩越高，模型越依赖展开后的原文，而不是看图读字Apple Mach...。
三、量化指标（论文 Benchmark 数据）
-
在 4.3 倍有效压缩（ECR）下，LensVLM 问答精度几乎逼近全文输入的上限； -
最高支持 10.1 倍压缩，在 7 个文本 QA 基准上优于 RAG、纯文本压缩、普通 VLM 读图基线； -
5 倍压缩场景：页面选择准确率 76.8%；10 倍压缩 71.0%；15 倍压缩 52.1%； -
对比基线：直接拿压缩图像阅读，5 倍压缩时准确率仅 31.3%；普通 VLM 不加训练做页面展开，仅 39.2%；经过 SFT+RL 训练的 LensVLM 达到 68.9%arXiv。
四、和主流长文档方案对比
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
有损压缩，原始细节永久丢失
|
|
|
|
|
|
核心差异：RAG 是外部检索器挑片段；LensVLM 是VLM 在内部，一次性看到全部文档的视觉缩略索引，自己决定调用哪一页原文，文档全局信息保存在视觉表示里，不容易漏掉跨页关联信息。
五、边界与风险（重点）
- 是研究原型，不是成熟产品
HuggingFace 放出权重，论文是研究成果；推文热度高，但第三方独立实测基准很少，生产环境效果需要自己复现。 - 许可证 apple-amlr 是最大红线
不同于 Apache/MIT，Apple 的 AMLR 许可，不默认开放商用，企业落地前必须仔细阅读许可条款。 - 压缩收益有上限
压缩倍率越高，页面选择准确率下降；超高压缩下，模型更容易选错页面。 - 部署成本
9B 多模态模型，推理显存开销高于纯文本 RAG；还需要配套存储每页原始文本 / OCR，图像渲染预处理流水线。 - 适用场景限制
适合几百页文档、每次提问只用到少数页面（财报、合同、论文集）；如果每次问答几乎要翻阅全部页面，压缩收益基本消失。
六、行业价值判断
LensVLM 提出了一条新范式：视觉模态作为长文档的低成本索引层，而不是用来直接读取文本做答案。
-
思路本质：用 VLM 做文档的 “缩略图目录”，把全文档概览的成本压下去；需要精读的页面再无损展开原文。 -
它不是替代 RAG，而是 RAG 之外另一条长文档架构思路：检索逻辑内置在 VLM 模型内部，不再依赖独立向量数据库和切块策略。 -
局限：目前只是研究方案，离企业生产落地还有工程、许可、成本三道门槛。
七、10 个关键问题 Q&A
-
Q：LensVLM 是直接看图里的文字回答问题吗？ A：不是。低分辨率图像只用来快速浏览、挑选页面；回答的细节来自解压后的完整原文，图像本身 OCR 阅读精度很低。 -
Q：压缩是有损吗？ A：存储的原文无损；压缩的只是用来快速浏览的页面图像。图像丢细节，但原始全文保留，需要时可以完整展开。 -
Q：LensVLM 可以直接替换 RAG 吗？ A：概念上可以规避 RAG 切块缺陷，但部署成本、许可证、推理延迟更高；不适合直接替换成熟 RAG 系统，适合特定长文档场景做对比实验。 -
Q：基础模型是 Qwen3.5-9B，那它能脱离 Qwen 运行吗？ A：不能，LensVLM 是在 Qwen3.5-9B 基础上做后训练，依赖这个基座的多模态能力。 -
Q：ECR 有效压缩倍率是什么？ A：Effective Compression Ratio，输入上下文 token 减少倍数，4.3× 代表上下文 token 降到全文的约 1/4.3。 -
Q：一定要 PDF 文档吗？ A：任何可以分页渲染成图片的文档都可以；论文同时验证纯文本文档、带图表的多模态文档、代码文档。 -
Q：推理时，所有页面图像一次性输入模型？ A：是的，全部压缩图像一起送入 VLM，模型一次性获得整个文档的全局概览，再挑选页面展开。 -
Q：2B/4B 版本能用吗？ A：可以跑，但页面选择、问答能力明显弱；2B 甚至很难稳定学会工具调用逻辑。 -
Q：本地可以部署吗？ A：权重在 HuggingFace 开放下载，但受 apple-amlr 许可约束；硬件上需要足够显存跑 9B 多模态模型。 -
Q：和普通 VLM 读 PDF（一页一页图片喂进去）差别在哪？ A：普通 VLM 如果全部高清图喂入，视觉 token 依然很贵；LensVLM 用低分辨率缩略图，只对少数页面展开高清原文，大幅降低 token 预算。