NVIDIA AIPerf：大规模 LLM 推理基准测试

NVIDIA 发布 AIPerf，用于大规模 LLM 推理性能基准测试。它针对 curl 命令、手写 asyncio 脚本或一次性负载生成器等传统压测方式的问题，这些方式受限于单进程性能、Python GIL 并发瓶颈，或测量基准不可靠。