Semiconductor Engineering· Technical Paper Link·· 4 小时前AI 评分32
UC Berkeley 与 FuriosaAI 论文:用 HBF 提升高吞吐 LLM 服务效率
HBF for High-Throughput LLM Serving (UC Berkeley, FuriosaAI)
AI 导读
UC Berkeley 与 FuriosaAI 发布技术论文《Characterizing High Bandwidth Flash for LLM Serving》,提出 HBM-HBF-host 分层存储系统与缓存感知调度方案。
来源:Semiconductor Engineering · semiengineering.com