跳到正文
原文
Semiconductor Engineering· Technical Paper Link·· 4 小时前AI 评分32

UC Berkeley 与 FuriosaAI 论文:用 HBF 提升高吞吐 LLM 服务效率

HBF for High-Throughput LLM Serving (UC Berkeley, FuriosaAI)

AI 导读

UC Berkeley 与 FuriosaAI 发布技术论文《Characterizing High Bandwidth Flash for LLM Serving》,提出 HBM-HBF-host 分层存储系统与缓存感知调度方案。

来源:Semiconductor Engineering · semiengineering.com