跳到正文
原文
Semiconductor Engineering· Alex Pim·· 7 小时前AI 评分20

Imagination 解读 LLM 性能与加速:TTFT 与 ITL 两大指标(第一部分)

LLM Performance And Acceleration: Part 1

AI 导读

Imagination 发文介绍 LLM 在终端设备上加速的两个关键性能指标:Time to First Token(TTFT)对应 prefill 阶段,Inter-Token Latency(ITL)对应 decode 阶段。

来源:Semiconductor Engineering · semiengineering.com