Semiconductor Engineering· Alex Pim·· 7 小时前AI 评分20
Imagination 解读 LLM 性能与加速:TTFT 与 ITL 两大指标(第一部分)
LLM Performance And Acceleration: Part 1
AI 导读
Imagination 发文介绍 LLM 在终端设备上加速的两个关键性能指标:Time to First Token(TTFT)对应 prefill 阶段,Inter-Token Latency(ITL)对应 decode 阶段。
来源:Semiconductor Engineering · semiengineering.com