IEEE Spectrum· Matthew S. Smith·· 16 天前AI 评分60
AI 推理革命到来:训练退居幕后,芯片厂商各寻破局路线
The AI Inference Revolution Is Here
AI 导读
IEEE Spectrum 文章指出,2026 年 AI 焦点已从训练转向推理,推理模型与智能体让推理负载大幅上升。文章解释推理的 prefill 与 decode 两阶段差异,指出 H100 运行开源 LLM 时有 50% 至 80% 时间处于空闲,内存带宽成为瓶颈。
来源:IEEE Spectrum · spectrum.ieee.org