CANN/ops-nn 分组归一化梯度算子

GroupNormalizationGrad【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn产品支持情况产品是否支持Atlas A2 训练系列产品/Atlas 800I A2 推理产品√功能说明算子功能计算 Group Normalization 的输入梯度。计算公式输入按[N, G, M]布局组织单 group 的计算公式为$$ \hat{x} (x - mean) \cdot rstd $$$$ s_1 \sum(dy \cdot gamma), \quad s_2 \sum(dy \cdot gamma \cdot \hat{x}) $$$$ dx \frac{rstd}{M} \cdot gamma \cdot (M \cdot dy - s_1 - \hat{x} \cdot s_2) $$其中 $x$ 为前向输入$dy$ 为上游梯度$gamma$ 为已广播到[N, G, M]的缩放系数$mean$ 为每个 group 的均值形状[N, G]$rstd$ 为每个 group 的标准差倒数形状[N, G]$dx$ 为输出输入梯度形状与 $x$ 相同。参数说明参数名输入/输出/属性描述数据类型数据格式x输入前向输入公式中的 x。FLOAT、FLOAT16、BFLOAT16NDdy输入上游梯度公式中的 dy。FLOAT、FLOAT16、BFLOAT16NDgamma输入已广播到 [N, G, M] 的缩放系数。FLOAT、FLOAT16、BFLOAT16NDmean输入每个 group 的均值形状为 [N, G]。FLOAT、FLOAT16、BFLOAT16NDrstd输入每个 group 的标准差倒数形状为 [N, G]。FLOAT、FLOAT16、BFLOAT16NDdx输出输入梯度公式中的 dx。FLOAT、FLOAT16、BFLOAT16ND约束说明输入 x、dy、gamma 和输出 dx 的数据类型需保持一致。输入 x、dy、gamma 的 shape 需相同。输入维度至少为 3 维[N, G, M] 布局。mean 和 rstd 需为 [N, G] 形状。贡献说明贡献者贡献方贡献算子贡献时间贡献内容Zhou Jianhua LePenseurAISS Group, Harbin Institute of Technology (HIT)GroupNormalizationGrad2026/05/12GroupNormalizationGrad 算子架构迁移至标准 AscendC 框架【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考