Google Research 提出 Retrieve-for-Train：用离线 RL 编译扩散检索器，绕过查询扇出推理瓶颈

Google Research 提出 Retrieve-for-Train 框架，用离线强化学习发现奖励对齐的查询扇出并编译为监督信号，再蒸馏进一个 53.9M 参数的扩散检索器，实现单次非自回归的查询扇出。该方法在 Gemma3-4B 和 Qwen3-4B 上微调扇出语言模型，以集合级属性奖励评估整组结果，避免推理时生成数百个 CoT 推理 token。相关论文已被 ICML 2026 收录。