Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构

Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构，将训练拆分为异步通信的计算孤岛，降低带宽需求并隔离硬件故障。测试中该系统在整块 learner unit 掉线后仍能继续训练并重新接入，用 Gemma 4 模型达到与传统训练相当的基准性能。