154、NPU的编译器开发：性能分析工具集成

嵌入式NPU原理基础：NPU的编译器开发——性能分析工具集成从一次“跑分翻车”说起去年做一款AIoT芯片的NPU编译器，客户拿我们编译好的MobileNetV2模型去跑benchmark，结果发现帧率比对手低了30%。我第一反应是“硬件不行”，但硬件团队甩过来一张波形图——NPU计算单元利用率只有可怜的45%，大部分时间在等数据。那一刻我意识到：编译器不是把模型翻译成指令就完事了，你得让开发者能“看见”NPU内部到底在干什么。性能分析工具，就是这双眼睛。性能分析工具到底要分析什么NPU和CPU不一样。CPU的性能瓶颈通常是“计算密集”还是“内存密集”，但NPU的流水线更复杂。我习惯把NPU的执行过程拆成三个维度：计算单元利用率：MAC阵列到底有多少在干活。很多新手以为NPU就是“全并行”，实际上数据依赖、bank冲突、甚至指令发射顺序都会让部分MAC闲置。我们曾经有个算子，因为数据排布没对齐，导致MAC利用率从85%掉到40%，查了两天才发现是编译器生成的DMA描述符里地址偏移算错了。数据搬运效率：NPU最怕“等数据”。片上SRAM和外部DDR之间的带宽是金贵的，DMA调度策略直接决定计算流水线是否“吃饱”。我见过最离谱的情况是，一个卷积层的数据搬运时间占了总执行时间的70%，计算单元大部分时间在空转。指令流水线停顿：NPU内部有多条指令流水线（计算、DMA、控制），它们之间可能有依赖。比如DMA还没搬完数据，计算指令就发射了，硬件