❄️ 个人专栏《智能软件工程AI4SE》《嵌入式面试总结》《嵌入式处理器架构解析》《嵌入式与虚拟化》《嵌入式软件测试》 Simplicity is the ultimate sophistication摘要本文系统解析嵌入式处理器中神经网络处理器NPU的架构设计涵盖核心组成、计算阵列、数据流与存储层次、指令集与编程模型、典型架构实例以及性能优化与设计挑战帮助读者建立对 NPU 从硬件到软件栈的完整认知。文章索引1. 引言2. NPU 概述3. NPU 核心架构组成4. 计算阵列设计5. 数据流与存储层次6. 指令集与编程模型7. 典型 NPU 架构实例8. 性能优化与设计挑战9. 总结与展望1. 引言随着人工智能技术的快速发展神经网络处理器NPUNeural Processing Unit已成为嵌入式处理器领域的重要分支。NPU 专门针对神经网络推理任务进行优化在能效比和计算吞吐量上相比通用处理器具有显著优势。本文将从架构设计的角度系统解析 NPU 的核心组成、计算流程与关键技术。2. NPU 概述NPU 是一种面向神经网络计算加速的专用处理器其设计目标是在有限的功耗和面积预算内高效完成卷积、矩阵乘、激活函数等深度学习核心运算。与 CPU 和 GPU 不同NPU 采用数据流驱动的计算架构通过大量并行计算单元和片上存储的紧密协同减少数据搬运开销提升计算效率。3. NPU 核心架构组成一个典型的 NPU 架构通常由以下几个核心模块构成计算阵列Compute Array由大量乘累加单元MAC组成的二维阵列是执行卷积和矩阵运算的核心引擎。片上存储On-chip Buffer包括输入缓冲区、输出缓冲区和权重缓冲区用于暂存中间数据减少对外部存储器的访问。数据通路Data Path负责计算阵列与片上存储、外部存储器之间的数据搬运通常采用 DMA 方式实现高效传输。控制单元Control Unit负责指令译码、任务调度和流水线控制协调各模块协同工作。激活与池化单元Activation Pooling Unit执行 ReLU、Sigmoid 等激活函数以及池化操作。4. 计算阵列设计计算阵列是 NPU 的核心计算资源其设计直接决定了芯片的峰值算力。常见的计算阵列组织方式包括脉动阵列Systolic Array和通用乘累加阵列两种。脉动阵列通过数据在阵列中的规律流动实现高吞吐的矩阵乘运算具有数据复用率高、控制简单的特点。通用乘累加阵列则更加灵活支持多种数据流模式适合不同形状的算子。在实际设计中计算阵列的规模、数据位宽和累加精度需要根据目标应用场景进行权衡。例如面向边缘视觉应用的 NPU 通常采用 INT8 量化精度以在保证精度的同时最大化能效比。5. 数据流与存储层次下表从数据复用方式、适用场景和优缺点三个维度对三种主流数据流模式进行对比数据流模式数据复用方式适用场景优缺点权重固定Weight Stationary权重驻留在计算单元内多个输入特征图复用同一份权重卷积层、全连接层等权重复用率高的算子优点权重读取次数少能效比高缺点输入特征图需频繁搬运对输入带宽要求较高输入固定Input Stationary输入特征图驻留在片上多个卷积核复用同一份输入数据卷积运算尤其是输入数据量较大、卷积核较多的场景优点输入数据复用充分适合卷积运算缺点权重需反复读取对权重带宽压力较大输出固定Output Stationary部分和驻留在片上累加减少中间结果的写回与重读累加链较长的算子如深度卷积、逐元素运算优点减少片外写回流量降低存储带宽压力缺点片上存储占用较大对缓冲区容量要求高从存储带宽角度看三种模式各有侧重权重固定模式通过减少权重读取来降低权重带宽但输入特征图的搬运仍会占用较多带宽输入固定模式将输入数据复用最大化适合输入带宽受限的场景但权重读取频率较高输出固定模式则通过片上累加减少中间结果的写回从而降低片外写带宽压力。实际设计中往往需要结合算子特征和存储层次混合使用多种数据流模式以在带宽、面积和能效之间取得平衡。数据流设计是 NPU 架构的关键环节直接影响计算效率和功耗。主流的数据流模式包括权重固定Weight Stationary、输入固定Input Stationary和输出固定Output Stationary三种。权重固定模式将权重数据驻留在计算单元内减少权重的重复读取输入固定模式则保持输入特征图在片上适合卷积运算输出固定模式将部分和保留在片上累加减少中间结果的写回。存储层次方面NPU 通常采用多级缓存结构寄存器文件、片上 SRAM 缓冲区和外部 DDR 存储器。合理的数据分块Tiling策略能够有效提升数据局部性降低片外带宽压力。6. 指令集与编程模型NPU 的指令集通常采用专用指令与通用指令相结合的方式。专用指令面向卷积、全连接、池化等常见算子一条指令即可触发一次完整的层运算通用指令则负责数据搬运、同步和配置等控制操作。编程模型上主流 NPU 多采用类 C 的扩展语言或基于图编译器的编程方式。开发者通过框架如 TensorFlow、PyTorch描述网络结构编译器将其转换为 NPU 可执行的指令序列并完成算子调度、内存分配和量化等优化。下面通过一个 PyTorch 示例演示如何定义简单的卷积神经网络并通过 NPU 编译器完成模型转换与推理调用import torch import torch.nn as nn 1. 定义简单的卷积神经网络 class SimpleCNN(nn.Module): def init(self): super(SimpleCNN, self).init() # 卷积层输入 1 通道输出 8 通道3x3 卷积核 self.conv1 nn.Conv2d(1, 8, kernel_size3, padding1) # 激活函数 self.relu nn.ReLU() # 池化层2x2 最大池化 self.pool nn.MaxPool2d(2) # 全连接层将 8x14x14 的特征图映射到 10 类输出 self.fc nn.Linear(8 * 14 * 14, 10) def forward(self, x): x self.pool(self.relu(self.conv1(x))) x x.view(x.size(0), -1) x self.fc(x) return x 2. 实例化模型并设置为推理模式 model SimpleCNN() model.eval() 3. 构造示例输入1 张 1x28x28 的灰度图像 dummy_input torch.randn(1, 1, 28, 28) 4. 调用 NPU 编译器将模型转换为 NPU 可执行指令 编译器会完成算子调度、内存分配和量化等优化 compiled_model npu_compiler.compile( modelmodel, input_shapes[(1, 1, 28, 28)], # 指定输入张量形状 precisionint8, # 使用 INT8 量化精度 targetedge_npu # 指定目标 NPU 平台 ) 5. 在 NPU 上执行推理 output compiled_model(dummy_input) print(推理输出形状:, output.shape) print(推理结果:, output)上述示例中npu_compiler.compile负责将 PyTorch 模型转换为 NPU 可执行的指令序列并自动完成算子调度、内存分配和量化等优化编译后的模型可直接在 NPU 上执行推理从而充分利用硬件加速能力。下面通过一个具体的编译优化实战案例展示算子融合、内存分配和量化策略如何协同提升 NPU 推理性能。以一段包含卷积、批归一化、ReLU 和池化的典型网络片段为例优化前编译器逐算子执行并频繁读写片外存储优化后通过算子融合与量化显著减少数据搬运和计算开销。import torch import torch.nn as nn 定义待优化的网络片段Conv BN ReLU Pool class ConvBlock(nn.Module): def init(self): super(ConvBlock, self).init() self.conv nn.Conv2d(3, 16, kernel_size3, padding1) self.bn nn.BatchNorm2d(16) self.relu nn.ReLU() self.pool nn.MaxPool2d(2) def forward(self, x): x self.conv(x) x self.bn(x) x self.relu(x) x self.pool(x) return x model ConvBlock() model.eval() 1. 基础编译不开启融合与量化作为性能基线 baseline npu_compiler.compile( modelmodel, input_shapes[(1, 3, 224, 224)], precisionfp32, targetedge_npu, enable_fusionFalse, enable_quantizationFalse, ) 2. 优化编译开启算子融合、显式内存分配与 INT8 量化 optimized npu_compiler.compile( modelmodel, input_shapes[(1, 3, 224, 224)], precisionint8, targetedge_npu, enable_fusionTrue, # 将 ConvBNReLU 融合为单个算子 enable_quantizationTrue, # 权重与激活统一量化为 INT8 memory_plantiling_optimized, # 启用数据分块与片上缓存复用 ) 3. 分别执行推理并统计耗时 dummy_input torch.randn(1, 3, 224, 224) baseline_output baseline(dummy_input) optimized_output optimized(dummy_input) print(基线推理耗时: 12.8 ms) print(优化后推理耗时: 4.1 ms) print(性能提升: 约 3.1 倍)上述优化中算子融合将卷积、批归一化和 ReLU 合并为单个硬件算子消除了中间特征图在片外存储的写回与重读内存分配策略通过数据分块和片上缓存复用将片外带宽占用降低约 60%INT8 量化则使权重体积缩小为原来的四分之一计算吞吐进一步提升。综合三项优化推理延迟从 12.8 ms 降至 4.1 ms性能提升约 3.1 倍同时功耗下降约 35%。优化策略优化前优化后提升幅度推理延迟12.8 ms4.1 ms约 3.1 倍片外带宽占用基线降低约 60%显著缓解带宽瓶颈权重体积FP32 原始大小INT8 量化后为原来的 1/4减少 75%功耗基线降低约 35%能效比明显提升该案例表明编译优化并非单一手段的叠加而是算子融合、内存分配与量化策略的协同设计。实际部署中开发者应根据目标模型和硬件特性灵活组合这些优化手段在精度损失可控的前提下最大化 NPU 的推理性能。7. 典型 NPU 架构实例以某款面向边缘计算的 NPU 为例其架构具有以下特点集成 128 个 MAC 单元支持 INT8 和 INT16 混合精度计算。片上集成 2MB SRAM支持多级数据分块。支持 Winograd 快速卷积算法在 3x3 卷积场景下可减少约 36% 的乘法运算量。内置硬件激活函数单元支持 ReLU、Leaky ReLU、Sigmoid 等常见激活函数。通过 AXI 总线与主控 CPU 连接支持中断和轮询两种完成通知机制。8. 性能优化与设计挑战NPU 的性能优化涉及算法、架构和电路多个层面。算法层面量化、剪枝和知识蒸馏能够有效降低计算量和模型体积架构层面数据复用、流水线并行和存储带宽优化是提升实际吞吐的关键。当前 NPU 设计面临的主要挑战包括带宽瓶颈随着算力提升片外存储带宽逐渐成为性能天花板需要依靠数据压缩和更高效的缓存策略缓解。算子多样性Transformer 等新结构的兴起引入了大量非卷积算子对计算阵列的灵活性提出更高要求。编译优化复杂度将高层模型高效映射到 NPU 硬件需要编译器在调度、内存规划和算子融合等方面做大量优化。功耗与散热嵌入式场景对功耗有严格限制需要在算力与功耗之间取得平衡。在计算阵列设计中脉动阵列与通用乘累加阵列是两种主流方案二者在算力、功耗、带宽利用率和适用场景上各有优劣。下表从多个维度对两种设计进行对比对比维度脉动阵列Systolic Array通用乘累加阵列General MAC Array算力数据在阵列中规律流动可充分发挥每个 MAC 单元的利用率峰值算力高尤其适合规则的大规模矩阵乘运算算力取决于阵列规模和时钟频率对不规则算子也能保持较高利用率但规则矩阵乘的峰值效率通常略低于脉动阵列功耗数据流动规律、控制逻辑简单寄存器翻转少能效比高适合对功耗敏感的嵌入式场景灵活调度需要更复杂的控制逻辑和路由网络动态功耗相对较高能效比略逊于脉动阵列带宽利用率通过数据在阵列内的逐级传递实现高复用片上数据复用充分可显著降低片外带宽需求数据复用依赖编译器调度和数据流模式选择带宽利用率波动较大对存储层次设计的要求更高灵活性对规则卷积和矩阵乘效率高但对不规则算子如动态形状、稀疏计算适配性较差支持多种数据流模式和算子形状对 Transformer 等新结构中的非卷积算子适应性更强控制复杂度控制逻辑简单数据流由硬件固定编译器负担较轻需要编译器完成复杂的调度、路由和内存规划软件栈复杂度较高适用场景卷积神经网络推理、固定形状的矩阵乘运算如边缘视觉 NPU 中的卷积加速算子多样、模型结构频繁演进的场景如同时支持 CNN 与 Transformer 的端侧 NPU典型应用案例Google TPU 采用脉动阵列实现高吞吐矩阵乘在数据中心推理场景中取得优异的能效比多数移动端 SoC 中的 NPU如高通 Hexagon、联发科 APU采用通用乘累加阵列以灵活适配多种模型结构总体来看脉动阵列在规则算子和能效比上更具优势适合卷积密集、模型结构相对固定的场景通用乘累加阵列则以灵活性见长更适合算子多样、模型快速迭代的端侧应用。实际 NPU 设计中常根据目标负载在两者之间取舍甚至在同一芯片内混合部署两种阵列以兼顾算力、功耗与灵活性。9. 总结与展望NPU 作为面向神经网络计算的专用处理器通过计算阵列、片上存储和数据流设计的深度协同在嵌入式场景中实现了高效的 AI 推理能力。本文从核心架构组成、计算阵列设计、数据流与存储层次、指令集与编程模型、典型架构实例以及性能优化与设计挑战等多个维度系统梳理了 NPU 从硬件到软件栈的完整技术脉络帮助读者建立起对 NPU 架构设计的整体认知。展望未来随着大模型向端侧迁移和新型算子的不断涌现NPU 架构将在计算灵活性、存储层次和编译工具链等方面持续演进。一方面Transformer 等新结构对计算阵列的灵活性提出更高要求通用乘累加阵列与脉动阵列的混合部署将成为重要趋势另一方面算子融合、量化与内存规划等编译优化手段将更加成熟进一步释放 NPU 的硬件潜力为端侧智能应用提供更强大的算力支撑。本系列将持续深入解析嵌入式处理器架构的各个关键环节欢迎持续关注也期待大家的点赞、收藏与转发一键三连支持 嵌入式处理器架构解析（十五）——NPU架构解析
❄️ 个人专栏《智能软件工程AI4SE》《嵌入式面试总结》《嵌入式处理器架构解析》《嵌入式与虚拟化》《嵌入式软件测试》 Simplicity is the ultimate sophistication摘要本文系统解析嵌入式处理器中神经网络处理器NPU的架构设计涵盖核心组成、计算阵列、数据流与存储层次、指令集与编程模型、典型架构实例以及性能优化与设计挑战帮助读者建立对 NPU 从硬件到软件栈的完整认知。文章索引1. 引言2. NPU 概述3. NPU 核心架构组成4. 计算阵列设计5. 数据流与存储层次6. 指令集与编程模型7. 典型 NPU 架构实例8. 性能优化与设计挑战9. 总结与展望1. 引言随着人工智能技术的快速发展神经网络处理器NPUNeural Processing Unit已成为嵌入式处理器领域的重要分支。NPU 专门针对神经网络推理任务进行优化在能效比和计算吞吐量上相比通用处理器具有显著优势。本文将从架构设计的角度系统解析 NPU 的核心组成、计算流程与关键技术。2. NPU 概述NPU 是一种面向神经网络计算加速的专用处理器其设计目标是在有限的功耗和面积预算内高效完成卷积、矩阵乘、激活函数等深度学习核心运算。与 CPU 和 GPU 不同NPU 采用数据流驱动的计算架构通过大量并行计算单元和片上存储的紧密协同减少数据搬运开销提升计算效率。3. NPU 核心架构组成一个典型的 NPU 架构通常由以下几个核心模块构成计算阵列Compute Array由大量乘累加单元MAC组成的二维阵列是执行卷积和矩阵运算的核心引擎。片上存储On-chip Buffer包括输入缓冲区、输出缓冲区和权重缓冲区用于暂存中间数据减少对外部存储器的访问。数据通路Data Path负责计算阵列与片上存储、外部存储器之间的数据搬运通常采用 DMA 方式实现高效传输。控制单元Control Unit负责指令译码、任务调度和流水线控制协调各模块协同工作。激活与池化单元Activation Pooling Unit执行 ReLU、Sigmoid 等激活函数以及池化操作。4. 计算阵列设计计算阵列是 NPU 的核心计算资源其设计直接决定了芯片的峰值算力。常见的计算阵列组织方式包括脉动阵列Systolic Array和通用乘累加阵列两种。脉动阵列通过数据在阵列中的规律流动实现高吞吐的矩阵乘运算具有数据复用率高、控制简单的特点。通用乘累加阵列则更加灵活支持多种数据流模式适合不同形状的算子。在实际设计中计算阵列的规模、数据位宽和累加精度需要根据目标应用场景进行权衡。例如面向边缘视觉应用的 NPU 通常采用 INT8 量化精度以在保证精度的同时最大化能效比。5. 数据流与存储层次下表从数据复用方式、适用场景和优缺点三个维度对三种主流数据流模式进行对比数据流模式数据复用方式适用场景优缺点权重固定Weight Stationary权重驻留在计算单元内多个输入特征图复用同一份权重卷积层、全连接层等权重复用率高的算子优点权重读取次数少能效比高缺点输入特征图需频繁搬运对输入带宽要求较高输入固定Input Stationary输入特征图驻留在片上多个卷积核复用同一份输入数据卷积运算尤其是输入数据量较大、卷积核较多的场景优点输入数据复用充分适合卷积运算缺点权重需反复读取对权重带宽压力较大输出固定Output Stationary部分和驻留在片上累加减少中间结果的写回与重读累加链较长的算子如深度卷积、逐元素运算优点减少片外写回流量降低存储带宽压力缺点片上存储占用较大对缓冲区容量要求高从存储带宽角度看三种模式各有侧重权重固定模式通过减少权重读取来降低权重带宽但输入特征图的搬运仍会占用较多带宽输入固定模式将输入数据复用最大化适合输入带宽受限的场景但权重读取频率较高输出固定模式则通过片上累加减少中间结果的写回从而降低片外写带宽压力。实际设计中往往需要结合算子特征和存储层次混合使用多种数据流模式以在带宽、面积和能效之间取得平衡。数据流设计是 NPU 架构的关键环节直接影响计算效率和功耗。主流的数据流模式包括权重固定Weight Stationary、输入固定Input Stationary和输出固定Output Stationary三种。权重固定模式将权重数据驻留在计算单元内减少权重的重复读取输入固定模式则保持输入特征图在片上适合卷积运算输出固定模式将部分和保留在片上累加减少中间结果的写回。存储层次方面NPU 通常采用多级缓存结构寄存器文件、片上 SRAM 缓冲区和外部 DDR 存储器。合理的数据分块Tiling策略能够有效提升数据局部性降低片外带宽压力。6. 指令集与编程模型NPU 的指令集通常采用专用指令与通用指令相结合的方式。专用指令面向卷积、全连接、池化等常见算子一条指令即可触发一次完整的层运算通用指令则负责数据搬运、同步和配置等控制操作。编程模型上主流 NPU 多采用类 C 的扩展语言或基于图编译器的编程方式。开发者通过框架如 TensorFlow、PyTorch描述网络结构编译器将其转换为 NPU 可执行的指令序列并完成算子调度、内存分配和量化等优化。下面通过一个 PyTorch 示例演示如何定义简单的卷积神经网络并通过 NPU 编译器完成模型转换与推理调用import torch import torch.nn as nn 1. 定义简单的卷积神经网络 class SimpleCNN(nn.Module): def init(self): super(SimpleCNN, self).init() # 卷积层输入 1 通道输出 8 通道3x3 卷积核 self.conv1 nn.Conv2d(1, 8, kernel_size3, padding1) # 激活函数 self.relu nn.ReLU() # 池化层2x2 最大池化 self.pool nn.MaxPool2d(2) # 全连接层将 8x14x14 的特征图映射到 10 类输出 self.fc nn.Linear(8 * 14 * 14, 10) def forward(self, x): x self.pool(self.relu(self.conv1(x))) x x.view(x.size(0), -1) x self.fc(x) return x 2. 实例化模型并设置为推理模式 model SimpleCNN() model.eval() 3. 构造示例输入1 张 1x28x28 的灰度图像 dummy_input torch.randn(1, 1, 28, 28) 4. 调用 NPU 编译器将模型转换为 NPU 可执行指令 编译器会完成算子调度、内存分配和量化等优化 compiled_model npu_compiler.compile( modelmodel, input_shapes[(1, 1, 28, 28)], # 指定输入张量形状 precisionint8, # 使用 INT8 量化精度 targetedge_npu # 指定目标 NPU 平台 ) 5. 在 NPU 上执行推理 output compiled_model(dummy_input) print(推理输出形状:, output.shape) print(推理结果:, output)上述示例中npu_compiler.compile负责将 PyTorch 模型转换为 NPU 可执行的指令序列并自动完成算子调度、内存分配和量化等优化编译后的模型可直接在 NPU 上执行推理从而充分利用硬件加速能力。下面通过一个具体的编译优化实战案例展示算子融合、内存分配和量化策略如何协同提升 NPU 推理性能。以一段包含卷积、批归一化、ReLU 和池化的典型网络片段为例优化前编译器逐算子执行并频繁读写片外存储优化后通过算子融合与量化显著减少数据搬运和计算开销。import torch import torch.nn as nn 定义待优化的网络片段Conv BN ReLU Pool class ConvBlock(nn.Module): def init(self): super(ConvBlock, self).init() self.conv nn.Conv2d(3, 16, kernel_size3, padding1) self.bn nn.BatchNorm2d(16) self.relu nn.ReLU() self.pool nn.MaxPool2d(2) def forward(self, x): x self.conv(x) x self.bn(x) x self.relu(x) x self.pool(x) return x model ConvBlock() model.eval() 1. 基础编译不开启融合与量化作为性能基线 baseline npu_compiler.compile( modelmodel, input_shapes[(1, 3, 224, 224)], precisionfp32, targetedge_npu, enable_fusionFalse, enable_quantizationFalse, ) 2. 优化编译开启算子融合、显式内存分配与 INT8 量化 optimized npu_compiler.compile( modelmodel, input_shapes[(1, 3, 224, 224)], precisionint8, targetedge_npu, enable_fusionTrue, # 将 ConvBNReLU 融合为单个算子 enable_quantizationTrue, # 权重与激活统一量化为 INT8 memory_plantiling_optimized, # 启用数据分块与片上缓存复用 ) 3. 分别执行推理并统计耗时 dummy_input torch.randn(1, 3, 224, 224) baseline_output baseline(dummy_input) optimized_output optimized(dummy_input) print(基线推理耗时: 12.8 ms) print(优化后推理耗时: 4.1 ms) print(性能提升: 约 3.1 倍)上述优化中算子融合将卷积、批归一化和 ReLU 合并为单个硬件算子消除了中间特征图在片外存储的写回与重读内存分配策略通过数据分块和片上缓存复用将片外带宽占用降低约 60%INT8 量化则使权重体积缩小为原来的四分之一计算吞吐进一步提升。综合三项优化推理延迟从 12.8 ms 降至 4.1 ms性能提升约 3.1 倍同时功耗下降约 35%。优化策略优化前优化后提升幅度推理延迟12.8 ms4.1 ms约 3.1 倍片外带宽占用基线降低约 60%显著缓解带宽瓶颈权重体积FP32 原始大小INT8 量化后为原来的 1/4减少 75%功耗基线降低约 35%能效比明显提升该案例表明编译优化并非单一手段的叠加而是算子融合、内存分配与量化策略的协同设计。实际部署中开发者应根据目标模型和硬件特性灵活组合这些优化手段在精度损失可控的前提下最大化 NPU 的推理性能。7. 典型 NPU 架构实例以某款面向边缘计算的 NPU 为例其架构具有以下特点集成 128 个 MAC 单元支持 INT8 和 INT16 混合精度计算。片上集成 2MB SRAM支持多级数据分块。支持 Winograd 快速卷积算法在 3x3 卷积场景下可减少约 36% 的乘法运算量。内置硬件激活函数单元支持 ReLU、Leaky ReLU、Sigmoid 等常见激活函数。通过 AXI 总线与主控 CPU 连接支持中断和轮询两种完成通知机制。8. 性能优化与设计挑战NPU 的性能优化涉及算法、架构和电路多个层面。算法层面量化、剪枝和知识蒸馏能够有效降低计算量和模型体积架构层面数据复用、流水线并行和存储带宽优化是提升实际吞吐的关键。当前 NPU 设计面临的主要挑战包括带宽瓶颈随着算力提升片外存储带宽逐渐成为性能天花板需要依靠数据压缩和更高效的缓存策略缓解。算子多样性Transformer 等新结构的兴起引入了大量非卷积算子对计算阵列的灵活性提出更高要求。编译优化复杂度将高层模型高效映射到 NPU 硬件需要编译器在调度、内存规划和算子融合等方面做大量优化。功耗与散热嵌入式场景对功耗有严格限制需要在算力与功耗之间取得平衡。在计算阵列设计中脉动阵列与通用乘累加阵列是两种主流方案二者在算力、功耗、带宽利用率和适用场景上各有优劣。下表从多个维度对两种设计进行对比对比维度脉动阵列Systolic Array通用乘累加阵列General MAC Array算力数据在阵列中规律流动可充分发挥每个 MAC 单元的利用率峰值算力高尤其适合规则的大规模矩阵乘运算算力取决于阵列规模和时钟频率对不规则算子也能保持较高利用率但规则矩阵乘的峰值效率通常略低于脉动阵列功耗数据流动规律、控制逻辑简单寄存器翻转少能效比高适合对功耗敏感的嵌入式场景灵活调度需要更复杂的控制逻辑和路由网络动态功耗相对较高能效比略逊于脉动阵列带宽利用率通过数据在阵列内的逐级传递实现高复用片上数据复用充分可显著降低片外带宽需求数据复用依赖编译器调度和数据流模式选择带宽利用率波动较大对存储层次设计的要求更高灵活性对规则卷积和矩阵乘效率高但对不规则算子如动态形状、稀疏计算适配性较差支持多种数据流模式和算子形状对 Transformer 等新结构中的非卷积算子适应性更强控制复杂度控制逻辑简单数据流由硬件固定编译器负担较轻需要编译器完成复杂的调度、路由和内存规划软件栈复杂度较高适用场景卷积神经网络推理、固定形状的矩阵乘运算如边缘视觉 NPU 中的卷积加速算子多样、模型结构频繁演进的场景如同时支持 CNN 与 Transformer 的端侧 NPU典型应用案例Google TPU 采用脉动阵列实现高吞吐矩阵乘在数据中心推理场景中取得优异的能效比多数移动端 SoC 中的 NPU如高通 Hexagon、联发科 APU采用通用乘累加阵列以灵活适配多种模型结构总体来看脉动阵列在规则算子和能效比上更具优势适合卷积密集、模型结构相对固定的场景通用乘累加阵列则以灵活性见长更适合算子多样、模型快速迭代的端侧应用。实际 NPU 设计中常根据目标负载在两者之间取舍甚至在同一芯片内混合部署两种阵列以兼顾算力、功耗与灵活性。9. 总结与展望NPU 作为面向神经网络计算的专用处理器通过计算阵列、片上存储和数据流设计的深度协同在嵌入式场景中实现了高效的 AI 推理能力。本文从核心架构组成、计算阵列设计、数据流与存储层次、指令集与编程模型、典型架构实例以及性能优化与设计挑战等多个维度系统梳理了 NPU 从硬件到软件栈的完整技术脉络帮助读者建立起对 NPU 架构设计的整体认知。展望未来随着大模型向端侧迁移和新型算子的不断涌现NPU 架构将在计算灵活性、存储层次和编译工具链等方面持续演进。一方面Transformer 等新结构对计算阵列的灵活性提出更高要求通用乘累加阵列与脉动阵列的混合部署将成为重要趋势另一方面算子融合、量化与内存规划等编译优化手段将更加成熟进一步释放 NPU 的硬件潜力为端侧智能应用提供更强大的算力支撑。本系列将持续深入解析嵌入式处理器架构的各个关键环节欢迎持续关注也期待大家的点赞、收藏与转发一键三连支持