PyTorch 性能分析（第三部分）：注意力机制全解析

Hugging Face 博客发布 "Profiling in PyTorch" 系列第三部分，用 NVIDIA A100-SXM4-80GB 剖析注意力机制的 profiler 轨迹。文章对比朴素注意力、原地操作（masked_fill_）和 SDPA 等实现，发现将 masked_fill 改为原地操作可消除一次 Memcpy kernel，在多层 Transformer 中逐层累积节省。