近年来，，，，，大模子文本检索（LLM-based Text Retrieval）手艺生长迅猛，，，，，SOTA 的 LLM Embedding Model 参数目普遍在 7B 以上，，，，，相关性搜索性能提升的同时，，，，，安排本钱也大幅增添
众所周知，，，，，LLM Embedding Model 是一种对称式双塔结构，，，，，Query 和 Doc 侧常共享统一个完整的 LLM。。。 。。。但一个恒久被忽视的问题是：线上推理中，，，，，盘问端（Query）真的需要和文档端（Document）一样 “重” 的大模子吗 ？？？？？？在我们最新的研究论文 LightRetriever 中，，，，，文章给出了一个明确、激进、但被大宗实验证实可行的谜底：不需要
LightRetriever 设计了一种极致非对称式结构的 LLM Embedding Model—— Doc 侧使用完整 LLM 建模，，，，，但Query 侧最多仅用一层 Embedding Lookup。。。 。。。极致化降低了 Query 侧推理肩负，，，，，也能做好大模子文本搜索。。。 。。。比照 Query-Doc 均用完整 LLM 的标准设计，，，，，LightRetriever 让 Query 侧的推理速率提升了千倍以上、端到端 QPS 提升 10 倍，，，，，同时 BeIR、CMTEB Retreival 等测试集上的中英文检索性能也能维持 95% 左右
文章由中科院信工所 & 澜舟科技配合完成，，，，，已吸收于国际盘算机顶级聚会 ICLR 2026。。。 。。。ICLR（International Conference on Learning Representations）是机械学习与体现学习领域的国际顶级聚会之一，，，，，与 NeurIPS、ICML 并列为人工智能偏向最具影响力的学术聚会。。。 。。。本次 ICLR 2026 共有靠近 19000 篇有用投稿，，，，，吸收率约为 28%。。。 。。。
论文问题：LightRetriever: A LLM-based Text Retrieval Architecture with Extremely Faster Query Inference论文链接：https://arxiv.org/abs/2505.12260
LightRetriever：极致非对称的 LLM Embedding Model
LightRetriever 的焦点头脑很是明确：将深度建模的主要盘算肩负彻底转移到 Doc 侧，，，，，Query 侧只保存须要、可缓存的表征能力。。。 。。。LightRetriever 为浓密希罕检索两大检索范式，，，，，划分设计了极致非对称的建模要领。。。 。。。
图。。。 。。。在浓密 / 希罕检索中，，，，，对称式 LLM Embedding Model 使用了 1) 标准的 Full-sized Query Inference，，，，，盘问侧推理肩负很重；；；；；2) LightRetriever 大幅降低了盘问推理本钱，，，，，盘问侧负载降低至不凌驾一层 Embedding Layer Lookup。。。 。。。
浓密检索（Dense Retreival）训练中，，，，，Doc 侧坚持建模方法稳固，，，，，LightRetriever 词袋化了 Query 侧建模：完整的 LLM 吸收 “指令 + 单个 Query Token” 作为输入，，，，，先建模 Token Embedding，，，，，再求平均获取 Query 句向量，，，，，并通过比照学习获得 Prompted Token Embedding。。。 。。。
差别之处在于，，，，，这些 Token Embedding 在训练完成后，，，，，可以被整体缓存为一个词表级 Embedding 矩阵。。。 。。。在线推理时，，，，，Query 句向量的推理仅需一次简朴的 Token Embedding 查表 + 求均值，，，，，不再涉及任何 LLM 推理。。。 。。。由于 Query 侧在训练阶段仍需要完整 LLM 建模，，，，，浓密向量训练遵照 “训练全量 + 推理轻量” 的头脑。。。 。。。后面的消融实验证实，，，，，“训练全量” 这种设置不可忽略。。。 。。。
图. LightRetriever 的浓密检索设计遵守 “训练全量 + 推理轻量” 的头脑，，，，，通过词袋化 Query 侧建模，，，，，突破上下文依赖，，，，，使得 Query 侧向量推理具备可缓存（Cacheable）的特征。。。 。。。仅需一次缓存，，，，，就可以无 LLM 安排 Query 推理效劳。。。 。。。
希罕检索（Sparse Retrieval）中，，，，，LightRetriever 将 Query 侧进一步被简化为词表空间 T 的 “Token ID -> 个数” 的词频映射，，，，，完全移除了可学习的模子参数。。。 。。。
同样通过端到端比照学习，，，，，通过 Doc 侧的 LLM，，，，，学习类 SPLADE 要领的 TF-based （Term Frequency-based）希罕向量。。。 。。。
图. LightRetriever 的希罕检索设计越发极致，，，，，Query 侧仅依赖词袋化的统计要领建模词频特征，，，，，来实现无 LLM 高效化线上推理。。。 。。。
极端轻量化的盘问，，，，，并没有带来灾难性的性能价钱
直觉上，，，，，移除 Query 侧的深度上下文建�；；；；；嵯灾鸷焖餍Ч�。。。 。。。然而，，，，，大规模实验效果给出了一个出乎意料的结论：
在 BeIR（英文）与 CMTEB-Retrieval（中文）等多使命文本检索基准上，，，，，相对完整的对称式 LLM Embedding，，，，，LightRetriever 的 nDCG@10 排序指标只下降1–5 pp，，，，，平均性能坚持率约为95%。。。 。。。更主要的是，，，，，该要领的性能水平大幅凌驾古板希罕要领（BM25、SPLADE）以及多种轻量化或蒸馏检索模子，，，，，并迫近了类似开源训练语料的设置下，，，，，LLM2Vec、E5-Mistral 等经典的 LLM Embedding 要领。。。 。。。
这批注：在绝大大都相关性导向的检索使命中，，，，，Query 侧并不需要完整的深度 Token 交互，，，，，也能够匹配 Doc 侧所学习到的语义结构。。。 。。。
表. BeIR / CMTEB-Retrieval 主实验效果，，，，，包括经典 Embedding Model Baseline、对称式 Full LLM Retriever 与 LightRetriever 的检索效果。。。 。。。
文章比照了 LightRetriever 在差别使命中的细粒度性能体现。。。 。。。以 BeIR 为例，，，，，LightRetriever 在大大都通例的相关性检索使命中性能体现十分优异，，，，，是全对称式结构的 93% 以上；；；；；在 Domain-specific QA、Entity Retrieval、Citation Prediction 等更具挑战性的 OOD 使命中，，，，，性能维持在全对称式结构的 87%～89%。。。 。。。虽然相对性能略有下降，，，，，这些使命性能的绝对数值仍然具备较强的竞争力。。。 。。。
表。。。 。。。在 BeIR 的差别使命中，，，，，LightRetriever 的性能体现及相对转变（Retention）。。。 。。。
盘问效劳速率大幅提升
LightRetriever 的 Query 轻量化设计，，，，，为盘问推理效率带来了数目级的提升
在 MSMARCO 检索场景下对 64k 盘问举行检索，，，，，完整的 Llama-8B 盘问编码需要凌驾100 秒；；；；；而 LightRetriever 的盘问编码时间仅为0.04 秒，，，，，对应凌驾 1000×的编码加速。。。 。。。即便思量 Faiss 与 Lucene 的检索时间，，，，，端到端吞吐仍然获得了10× 以上的 QPS 提升。。。 。。。文章还实验了一个经典的 Transformers Layer 裁剪 Baseline：在 Query 侧只用 Llama-8b 的第一层 Transformers Layer 用于训练和推理。。。 。。。然而，，，，，这个设置的检索性能和 QPS 均不如 LightRetriever，，，，，由于训练时 Query 侧没有完整的 LLM 建模。。。 。。。这证实晰文章中 “训练全量 + 推理轻量” 的设计的合理性。。。 。。。
表。。。 。。。盘问编码时间 / 端到端 QPS 比照
为什么这种 “训练全量 + 推理轻量” 是须要的，，，，，而不是无意有用 ？？？？？？
在 LightRetriever 的浓密检索中，，，，，Query 侧在训练时使用全量（Full）建模、推理时转化为 Embedding Layer（Emb）高效化推理。。。 。。。为了验证这种设计的合理性，，，，，文章举行了以下两组消融实验：
A1) Doc 侧在推理时也使用 Embedding Layer。。。 。。。
A2) Query 侧在训练时直接用 Embedding Layer。。。 。。。
两者均会引起性能的大幅下降。。。 。。。这说明：在大模子文本检索中，，，，，移除深度建模并非无意设计。。。 。。。
消融实验一（A1）证实晰：Doc 侧始终需要完整建模，，，，，而 Query 侧可通过词袋化要领做到近似建模。。。 。。。
消融实验二（A1）证实晰：LightRetriever 的要害不在于 “镌汰建模”，，，，，而在于将建模负载卸载至差别阶段—— 在训练阶段与 Doc 侧充分建模，，，，，在推理阶段最大化复用可缓存的 Query 词向量，，，，，即 “训练全量 + 推理轻量”。。。 。。。
从这一角度看，，，，，LightRetriever 并不是一次针对模子结构的微调，，，，，而是对 LLM 双塔模子盘算范式的重新审阅。。。 。。。
表。。。 。。。对称性消融实验。。。 。。。A1) Doc 侧推理时也举行了词袋轻量化；；；；；A2) Query 侧训练时直接使用了 Embedding 词袋。。。 。。。两者效果均显著下降。。。 。。。
结语：当 Query 侧安排不再是肩负，，，，，LLM 检索才真正具备可扩展性
LightRetriever 批注，，，，，高质量的 LLM Embedding Model 并纷歧定意味着高昂的在线推理本钱。。。 。。。通过明确区分 Query 与 Doc 在检索流程中的角色，，，，，并有意识地突破对称建模这一恒久默认的设计假设，，，，，检索系统可以在维持效果的条件下，，，，，获得数目级的效率提升。。。 。。。
关于面向真实应用场景的检索系统、RAG 框架与在线搜索效劳而言，，，，，这种盘问轻量化的建模思绪，，，，，或许比纯粹追求更大的模子规模更具应用价值。。。 。。。
作者简介
文章第一作者为中国科学院信息安徽科盛智能装备有限公司工程研究所博士研究生马广远，，，，，研究偏向为大模子信息检索，，，，，导师是虎嵩林研究员。。。 。。。本文在微软亚研院前副院长、现澜舟科技 CEO 周明博士和虎嵩林研究员的配合指导下完成。。。 。。。