CANN/Ascend C SIMD反量化API

Dequantize【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit产品支持情况Ascend 950PR/Ascend 950DT支持Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品AI Core不支持Atlas 推理系列产品Vector Core不支持Atlas 训练系列产品不支持功能说明按元素做反量化计算比如将int32_t数据类型反量化为half/float等数据类型。本接口最多支持输入为二维数据不支持更高维度的输入。Dequantize与AscendDequant的功能类似本接口在不同量化场景下的形式更统一因此推荐使用本接口。本接口的反量化策略包括PER_TENSORPER_CHANNELPER_TOKENPER_GROUP四种反量化系数scale在PER_TENSOR场景下为标量其余场景下为矢量具体计算公式如下PER_TENSOR场景按张量反量化scale和offset的shape为[1]。PER_CHANNEL场景按通道反量化srcTensor的shape为[m, n]每个channel维度对应一个量化参数scale和offset的shape为[1, n]。PER_TOKEN场景按token反量化srcTensor的每组tokentoken为n方向共有m组token中的元素共享一个量化参数srcTensor的shape为[m, n]时scale和offset的shape为[m, 1]。PER_GROUP场景按组反量化定义group的计算方向为k方向srcTensor在k方向上每groupSize个元素共享一组scale和offset。srcTensor的shape为[m, n]时如果kDim0表示k是m方向scale和offset的shape为[(m groupSize - 1) / groupSize, n]如果kDim1表示k是n方向scale和offset的shape为[m(n groupSize - 1) / groupSize]。k为m方向即公式中i轴为group的计算方向kDim0k为n方向即公式中j轴为group的计算方向kDim1函数原型通过sharedTmpBuffer入参传入临时空间template const DequantizeConfig config, typename DstT, typename SrcT, typename ScaleT, typename OffsetT __aicore__ inline void Dequantize(const LocalTensorDstT dstTensor, const LocalTensorSrcT srcTensor, const ScaleT scale, const OffsetT offset, const LocalTensoruint8_t sharedTmpBuffer, const DequantizeParams params)接口框架申请临时空间template const DequantizeConfig config, typename DstT, typename SrcT, typename ScaleT, typename OffsetT __aicore__ inline void Dequantize(const LocalTensorDstT dstTensor, const LocalTensorSrcT srcTensor, const ScaleT scale, const OffsetT offset, const DequantizeParams params)由于该接口的内部实现中涉及复杂的数学计算需要额外的临时空间来存储计算过程中的中间变量。临时空间支持接口框架申请和开发者通过sharedTmpBuffer入参传入两种方式。接口框架申请临时空间开发者无需申请但是需要预留临时空间的大小。通过sharedTmpBuffer入参传入使用该tensor作为临时空间进行处理接口框架不再申请。该方式开发者可以自行管理sharedTmpBuffer内存空间并在接口调用完成后复用该部分内存内存不会反复申请释放灵活性较高内存利用率也较高。接口框架申请的方式开发者需要预留临时空间通过sharedTmpBuffer传入的情况开发者需要为sharedTmpBuffer申请空间。临时空间大小BufferSize的获取方式如下通过GetDequantizeMaxMinTmpSize中提供的GetDequantizeMaxMinTmpSize接口获取需要预留空间的范围大小。参数说明表1模板参数说明参数名描述config用于配置反量化相关信息DequantizeConfig类型定义如下方代码所示其中参数的含义如下。policy用于配置量化策略枚举类型具体定义如下方代码所示。hasOffset预留参数目前仅支持配置为false。kDimgroup的计算方向即k方向。仅在PER_GROUP场景有效支持的取值如下。0k轴是第0轴即m方向为group的计算方向。1k轴是第1轴即n方向为group的计算方向。DstT目的操作数的数据类型。接口内根据入参dstTensor自动推导数据类型开发者无需配置该参数保证dstTensor满足表3中输入输出支持的数据类型组合即可。SrcT源操作数的数据类型。接口内根据入参srcTensor自动推导数据类型开发者无需配置该参数保证srcTensor满足表3中输入输出支持的数据类型组合即可。ScaleTscale的数据类型。接口内根据入参scale自动推导数据类型开发者无需配置该参数。ScaleT可以为标量数据类型或LocalTensor类型。注意对于PER_TENSOR场景scale为标量ScaleT只能为标量数据类型。对于PER_CHANNEL、PER_TOKEN、PER_GROUP场景scale为矢量ScaleT只能为LocalTensor类型。OffsetToffset的数据类型。接口内根据入参offset自动推导数据类型开发者无需配置该参数。OffsetT可以为标量数据类型或LocalTensor类型。注意对于PER_TENSOR量化策略offset为标量OffsetT只能为标量数据类型。对于PER_CHANNEL、PER_TOKEN、PER_GROUP量化策略offset为矢量OffsetT只能为LocalTensor类型。struct DequantizeConfig { DequantizePolicy policy; bool hasOffset false; int32_t kDim 1; }; enum class DequantizePolicy : int32_t { PER_TENSOR, PER_CHANNEL, PER_TOKEN, PER_GROUP };表2接口参数说明参数名输入/输出描述dstTensor输出目的操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。srcTensor输入源操作数。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。假设srcTensor的shape为[m, n]每行数据即n个输入数据所占字节数要求32字节对齐。scale输入输入数据反量化时的缩放因子。offset输入输入数据反量化时的偏移量。当前为预留参数可配置为0或空Tensor。sharedTmpBuffer输入临时缓存。类型为LocalTensor支持的TPosition为VECIN/VECCALC/VECOUT。临时空间大小BufferSize的获取方式请参考GetDequantizeMaxMinTmpSize。params输入反量化接口的参数DequantizeParams类型定义如下方代码所示其中参数的含义如下。mm方向元素个数。nn方向元素个数。n值对应的数据大小需满足32字节对齐的要求即shape最后一维为n的输入或输出均需要满足该维度上32字节对齐的要求。groupSizePER_GROUP场景有效表示groupSize行/列数据共用一个scale。groupSize的取值必须大于0且是32的整倍数。struct DequantizeParams { uint32_t m; uint32_t n; uint32_t groupSize 0; };表3输入输出支持的数据类型组合量化策略dstTensorsrcTensorscale/offsetPER_TENSORbfloat16_tint32_tbfloat16_tPER_TENSORbfloat16_tint32_tfloatPER_TENSORfloatint32_tbfloat16_tPER_TENSORfloatint32_tfloatPER_CHANNELhalfint32_tuint64_t注意当scale的数据类型是uint64_t时其中的低32位数据是参与计算的float类型数据高32位本接口不使用。PER_CHANNELfloatint32_tfloatPER_CHANNELfloatint32_tbfloat16_tPER_CHANNELbfloat16_tint32_tbfloat16_tPER_CHANNELbfloat16_tint32_tfloatPER_TOKEN/PER_GROUPhalfint32_thalfPER_TOKEN/PER_GROUPbfloat16_tint32_tbfloat16_tPER_TOKEN/PER_GROUPfloatint32_tfloatPER_TOKEN/PER_GROUPhalfint32_tfloatPER_TOKEN/PER_GROUPbfloat16_tint32_tfloatPER_TOKEN/PER_GROUPhalffloathalfPER_TOKEN/PER_GROUPbfloat16_tfloatbfloat16_tPER_TOKEN/PER_GROUPfloatfloatfloatPER_TOKEN/PER_GROUPhalffloatfloatPER_TOKEN/PER_GROUPbfloat16_tfloatfloat返回值说明无约束说明不支持源操作数与目的操作数地址重叠。操作数地址对齐要求请参见通用地址对齐约束。连续计算方向即n方向的数据量要求32字节对齐。调用示例PER_CHANNEL、PER_TOKEN、PER_GROUP模式constexpr static DequantizePolicy tokenPolicy DequantizePolicy::PER_TOKEN; constexpr static DequantizePolicy channelPolicy DequantizePolicy::PER_CHANNEL; constexpr static DequantizePolicy groupPolicy DequantizePolicy::PER_GROUP; // 此处以PER_CHANNEL模式为例不启用offsetkDim仅PER_GROUP场景有效表示group计算方向为n方向 constexpr static DequantizeConfig config {channelPolicy, false, 1}; DequantizeParams params; // m,n为外部传入参数表示srcLocal实际参与的m、n方向的元素个数 params.m m; params.n n; params.groupSize n; // 仅PER_GROUP场景下生效此处表示n方向所有元素共享一组scale和offset // srcLocal为int32_t类型的LocalTensordstLocal、scaleLocal、offsetLocal为float类型的LocalTensor Dequantizeconfig(dstLocal, srcLocal, scaleLocal, offsetLocal, params); // offsetLocal为预留参数可配置为空Tensor;PER_TENSOR模式constexpr static DequantizePolicy tensorPolicy DequantizePolicy::PER_TENSOR; // 不启用offset constexpr static DequantizeConfig config {tensorPolicy, false, -1}; DequantizeParams params; // m,n为外部传入参数表示srcLocal实际参与的m、n方向的元素个数 params.m m; params.n n; params.groupSize 0; // 仅PER_GROUP场景下生效 // srcLocal为int32_t类型的LocalTensordstLocal为float类型的LocalTensorscale、offset为float类型的标量 Dequantizeconfig(dstLocal, srcLocal, scale, offset, params); // offset为预留参数可配置为0;结果示例如下输入数据srcLocal: [-4, 2, -2, -3, -1, -4, 1, 3, 4, 1, -2, 0, ... 1] 输入数据scale矢量: [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... 1] 输入数据scale标量: [1] 输出数据dstLocal此时dstLocal srcLocal: [-4, 2, -2, -3, -1, -4, 1, 3, 4, 1, -2, 0, ... 1]【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考