跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 21–40 条 · 共 44 条
7月8日周三
  1. Hugging Face Blog62

    vLLM 的 transformers 建模后端实现原生速度

    Hugging Face 宣布 vLLM 的 transformers 建模后端在多个 LLM 架构上已达到或超过 vLLM 手写原生实现的吞吐。在 Qwen3-4B 单卡、Qwen3-32B 张量并行、Qwen3-235B-A22B-FP8 MoE 数据加专家并行三种配置下,该后端均追平或超越原生吞吐。

    推荐理由:原文给出 transformers 后端在 vLLM 中追平原生实现的具体架构与并行配置,读者可据此判断迁移成本。

7月7日周二
  1. Hugging Face Blog62

    Hugging Face 与 SkyPilot 打通零出网存储,可在任意云挂载 Hub 数据

    Hugging Face 与 SkyPilot 联合推出 store: hf 存储后端,用一条 hf:// URL 和现有 HF_TOKEN 即可把 Hugging Face Bucket 或任意模型、数据集、Space 仓库挂载进 SkyPilot 任务,并在 20 多家云、Kubernetes、Slurm 和本地集群上运行。

    推荐理由:原文给出跨云挂载 Hub 数据的具体配置与实测吞吐,读者可据此判断能否省下跨云读取成本。

6月30日周二
  1. Google Research67

    Google 发布 TabFM:面向表格数据的零样本基础模型

    Google 发布 TabFM,一个面向表格数据分类与回归的零样本基础模型,把表格预测重构为上下文学习问题,无需手动训练、超参数调优和特征工程,单次前向传播即可对未见过的表格生成预测。

    推荐理由:原文给出 TabFM 的架构设计与 TabArena 基准结果,读者可据此判断零样本表格预测能否替代传统树模型流程。

6月27日周六
6月23日周二
  1. Mistral AI62

    Mistral 发布 OCR 4,支持边界框、块分类与置信度分数

    Mistral 发布 OCR 4,在提取文本之外返回边界框、块类型分类和逐页逐词置信度分数,支持 170 种语言并可在单个容器中自托管部署。该模型在 OlmOCRBench 上取得 85.20 分,独立标注者在 600 多份文档的盲评中平均 72% 更偏好其输出。

    推荐理由:OCR 4 在文本之外返回边界框、块分类与置信度,读者可据此判断它如何改变 RAG 与智能体的文档处理流程。

6月11日周四
5月28日周四
  1. Mistral AI71

    Mistral AI 发布开源 Search Toolkit 公开预览版

    Mistral AI 发布 Search Toolkit 公开预览版,这是一个用于构建 AI 应用生产级搜索管线的可组合框架,将摄取、检索和评测统一到共享接口下,开源并支持云端、本地和边缘部署。

    推荐理由:Mistral 把检索管线的摄取、检索与评测收进同一框架,读者可据此判断自建 RAG 的集成成本会如何变化。

5月27日周三
  1. Mistral AI62

    Mistral 推出物理 AI,将 Emmi AI 并入企业平台

    Mistral 宣布将 Emmi AI 并入公司,推出面向工业工程的物理 AI 能力,作为其企业平台的一部分。该能力从几何与边界条件直接预测物理场,单次前向推理在单张 GPU 上以秒级完成,用于加速产品设计、工装工艺设计和实时数字孪生,合作方包括 ASML、Airbus、Safran 和 Siemens Energy。

    推荐理由:Mistral 把物理仿真模型并入企业平台,读者可了解其能力边界与工业落地场景。

5月22日周五
4月27日周一
4月22日周三
  1. Google DeepMind62

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

    Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构,将训练拆分为异步通信的计算孤岛,降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并重新接入,用 Gemma 4 模型达到与传统训练相当的基准性能。

    推荐理由:原文给出跨数据中心异步训练在带宽、容错与混合硬件上的实测结果,可据此判断分布式预训练的工程取舍。

3月25日周三
3月18日周三
  1. Mistral AI67

    Mistral AI 推出 Forge,让企业用自有知识训练前沿模型

    Mistral AI 发布 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统,支持预训练、后训练和强化学习等阶段。Forge 同时支持 dense 和 MoE 架构,并可按需支持多模态输入,模型可在企业内部基础设施中训练与治理。官方称已与 ASML、Ericsson、欧洲空间局等机构合作,并支持 Mistral Vibe 等智能体用自然语言完成微调、调参与合成数据生成。

    推荐理由:Mistral 官方披露 Forge 的训练流程与架构支持,可据此判断企业自建前沿模型的门槛与路径。

12月17日周三
  1. Mistral AI66

    Mistral 发布 OCR 3 文档解析模型

    Mistral 发布 Mistral OCR 3,在表单、扫描件、复杂表格和手写内容上相对 Mistral OCR 2 取得 74% 的整体胜率,并称其准确率超过企业文档处理方案和 AI 原生 OCR 方案。

    推荐理由:Mistral OCR 3 在表单、手写和复杂表格上的升级与每千页 2 美元定价,可供评估文档解析方案时参考。

10月24日周五
  1. Mistral AI62

    Mistral 发布 AI Studio 生产级 AI 平台

    Mistral 发布 AI Studio,一个面向企业团队的生产级 AI 平台,由 Observability、Agent Runtime 和 AI Registry 三大支柱组成。

    推荐理由:Mistral 把内部大规模系统的可观测、执行与治理能力打包成企业平台,可据此判断生产级 AI 工作流的落地路径。

9月2日周二
  1. Mistral AI62

    Mistral 为 Le Chat 上线 20+ MCP 连接器与 Memories 记忆功能

    Mistral 在 Le Chat 中发布 20 多个基于 MCP 的安全连接器(beta),覆盖数据、生产力、开发、自动化与商务等类别,支持 Databricks、Snowflake、GitHub、Atlassian、Asana、Outlook、Box、Stripe、Zapier 等工具,并允许接入任意远程 MCP 服务器或自定义连接器。

    推荐理由:原文列出 20 多个 MCP 连接器的覆盖范围与部署方式,可据此判断企业工具接入 AI 助手的具体路径。

7月30日周三
  1. Mistral AI62

    Mistral 发布 Codestral 25.08 及企业级编码栈

    Mistral AI 发布 Codestral 25.08,并推出覆盖补全、语义检索与智能体工作流的企业级编码栈。官方称 Codestral 25.08 相比前代接受补全量提升 30%、建议后保留代码增加 10%、失控生成减少 50%,chat 模式下指令遵循与代码能力各提升 5%。

    推荐理由:原文给出 Codestral 25.08 的补全提升数据与 Devstral 在 SWE-Bench Verified 上的成绩,可据此判断企业自部署编码方案的能力边界。