PRX Part 4：Hugging Face 详解 7B 模型的数据策略

Hugging Face 发布 PRX 系列第四篇，详解其 7B 模型的数据策略：预训练数据由公开与内部数据集混合而成，并用 VLM 重新生成图像长描述。团队将文本编码器从 T5Gemma 换成 Qwen3-VL，改为训练中实时计算文本 latent，实测吞吐仅损失约 3–4%（30 天训练多花约 1 天）。