【信息科学与工程学】计算机科学与自动化——第十六篇 GPU-03 算子01

NVIDIA GPU（cuDNN / cuBLAS / Transformer 视角）NVIDIA GPU 典型算子一览表编号类型领域算子类别典型算子名称数学方程式 / 计算描述应用场景时间 / 空间 / 其他复杂度优势劣势1计算密集型深度学习Dot-ProductGEMM（矩阵乘）CM×N​=AM×K​BK×N​，FLOPs = 2MNK全连接层、Attention 的 QKV 投影、MLP时间 O(MNK)；算术强度 ≈O(min(M,N,K))，大矩阵为compute-bound​Tensor Core 可 4–16× 加速