NVIDIA Developer Blog· Elizabeth Goodman·· 15 天前AI 评分42
NVIDIA TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍速度完成 MLPerf Edge Agentic Benchmark
TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor
AI 导读
NVIDIA 的 TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic Benchmark，速度提升 6.4 倍。该方案面向从云端数据中心迁移到车辆、机器人等边缘设备的 AI 智能体，针对其多步骤工具调用、结果评估与长对话推理带来的边缘推理新需求，实现快速 token 生成。
来源：NVIDIA Developer Blog · developer.nvidia.com