边缘 AI 设计的隐藏挑战:为何峰值 NPU TOPS 不是关键
边缘 AI 设计的真正瓶颈不在峰值 NPU TOPS,而在内存带宽、延迟、功耗预算、安全与数据搬运。芯片设计周期比搭载它的产品上市早一年以上,模型与工作负载却持续演进,迫使架构师转向异构计算、可编程数据通路、可扩展内存与软硬件协同设计。
边缘 AI 设计的真正瓶颈不在峰值 NPU TOPS,而在内存带宽、延迟、功耗预算、安全与数据搬运。芯片设计周期比搭载它的产品上市早一年以上,模型与工作负载却持续演进,迫使架构师转向异构计算、可编程数据通路、可扩展内存与软硬件协同设计。
边缘 AI 正从数据中心走向消费、工业、汽车和医疗设备,在本地完成推理以降低延迟并改善安全与隐私。Siemens EDA 的 Sathish Balasubramanian 指出,手表 ECG 监测、锅炉压力控制单元、汽车 lidar 与摄像头、手术机器人手臂都属于边缘设备。
OPPO ColorOS 智慧产品研发总监姜昱辰称,大模型层差距正消失,手机差距才刚拉开,OPPO 选择端侧模型自研、云端接入多元基础模型生态。ColorOS 17 推出记忆后台,同内存机型后台保活率平均提升 55.6%,并上线主动服务功能「即将发生」;OPPO 还与浙江大学、OpenKG 发布端侧评测基准 MobileMem,并推出 AI 硬件心力球。