PTO-ISA 指令详解TEXP 逐元素指数运算的语义、精度模式与平台实现【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isaTEXPTile EXPonential是 CANN PTO-ISA 虚拟指令集中面向向量 Tile 的逐元素指数运算指令负责在给定有效区域内完成dst exp(src)的数学变换。本文以 TEXP 官方文档中文版为主体结合仓库内的内建接口声明、A5 / A2A3 / CPU 三端实现与 ST 测试用例完整讲解 TEXP 的指令语义、SSA / DPS 两级汇编语法、ExpAlgorithm精度模式的选择与平台差异以及使用 Auto / Manual 两种编程模式的实操示例帮助读者在向量计算 Kernel 中正确、高效地使用指数运算。指令概述与数学语义TEXP 是标准的逐元素elementwise一元运算指令作用于向量 TileTileType::Vec。对于有效区域内的每一个元素(i, j)其数学定义为$$ \mathrm{dst}{i,j} \exp(\mathrm{src}{i,j}) $$其中src为源 Tile、dst为目标 Tile二者形状与有效区域一致。该运算属于超越函数族transcendental在注意力机制中的 softmax 分母计算、各种归一化层与激活函数中都有广泛应用常与 TROWSUM、TLOG、TDIV 等指令组合实现完整算子流水。从指令分类看TEXP 与 TLOG、TSQRT、TRECIP、TPOW 等同属向量一元超越运算均以TUnaryOp为公共执行骨架见下文源码解析。汇编语法从 PTO 汇编到两级 AS 形式TEXP 在汇编层提供了三种书写形式分别对应同步 PTO 汇编、AS Level 1SSA 形式与 AS Level 2DPS 形式同步 PTO 汇编形式%dst texp %src : !pto.tile...AS Level 1SSA 形式以pto.前缀标识显式给出结果与操作数的 Tile 类型签名%dst pto.texp %src : !pto.tile... - !pto.tile...AS Level 2DPS 形式采用ins(...) / outs(...)的输入输出参数约定操作数类型为!pto.tile_buf...pto.texp ins(%src : !pto.tile_buf...) outs(%dst : !pto.tile_buf...)三种形式对应 PTO-ISA 面向不同抽象层级的表达PTO 汇编面向最终发射SSA 面向编译器 IRDPS 形式显式声明了数据放置DPS Data Placement Syntax便于调度器进行资源分配与流水编排。C 内建接口与模板参数TEXP 的 C 内建接口intrinsic声明于 include/pto/common/pto_instr.hpp公共包含头为pto/pto-inst.hpptemplate auto PrecisionType ExpAlgorithm::DEFAULT, typename TileDataDst, typename TileDataSrc, typename... WaitEvents PTO_INST RecordEvent TEXP(TileDataDst dst, TileDataSrc src, WaitEvents ... events);接口要点PrecisionType精度模式模板参数取值来自 include/pto/common/type.hpp 中定义的枚举enum class ExpAlgorithm : uint8_t { DEFAULT, HIGH_PRECISION }。默认值为ExpAlgorithm::DEFAULT。TileDataDst/TileDataSrc目标与源 Tile 类型通常为TileTileType::Vec, DType, Rows, Cols, ...模板实例也支持带动态有效行列的 Tile。WaitEvents...可变模板参数传入需要等待的事件对象。TEXP 在发射前会先调用detail::PtoWaitEvents(events...)等待这些事件就绪实现指令间的依赖同步。返回值RecordEvent指令发射后返回事件记录可用于后续指令的依赖等待支持流水并行。PTO_INST内建接口的统一标记宏表明该函数为 PTO 指令入口。精度模式ExpAlgorithm的语义PrecisionType可指定以下两个值取值含义适用性ExpAlgorithm::DEFAULT普通算法执行速度快但数值精度较低全部支持平台ExpAlgorithm::HIGH_PRECISION高精度算法数值精度更高但执行速度较慢仅 Ascend A5如 Ascend 950PR / Ascend 950DT在 A2A3 上被忽略该精度选项直接映射到 A5 端的实现在 include/pto/npu/a5/TUnaryOp.hpp 中ExpOp::UnaryInstr通过编译期if constexpr判断当PrecisionType ExpAlgorithm::HIGH_PRECISION且数据类型为float或half时调用专用高精度实现ExpPrecisionImpl否则走常规vexp向量指令template ExpAlgorithm PrecisionType, typename T struct ExpOp { PTO_INTERNAL static void UnaryInstr(RegTensorT dstReg, RegTensorT srcReg, MaskReg pReg) { if constexpr ( PrecisionType ExpAlgorithm::HIGH_PRECISION (std::is_same_vT, float || std::is_same_vT, half)) { ExpPrecisionImpl(dstReg, srcReg, pReg); } else { vexp(dstReg, srcReg, pReg, MODE_ZEROING); } } };使用约束与合法性检查TEXP 的约束分为编译期静态检查与运行时检查两类最终由 A5 端TEXP_IMPL入口处的TUnaryCheckDstTile, SrcTile()统一执行见 include/pto/npu/a5/TUnaryOp.hpp数据类型DType必须是float或half含float32_t/float16_t别名其余类型触发static_assert编译失败。该检查通过needDataTypeCheck模板开关控制部分一元指令可关闭。Tile 位置src与dst都必须位于向量侧即TileData::Loc TileType::Vec。静态有效边界编译期要求TileData::ValidRow TileData::Rows且TileData::ValidCol TileData::Cols防止有效区域越界。布局必须为行主序TileData::isRowMajor true非行主序布局直接静态报错。类型一致性dst与src的 DType 必须相同std::is_same_v静态断言。运行时有效区域一致性src.GetValidRow() dst.GetValidRow()且src.GetValidCol() dst.GetValidCol()不满足时PTO_ASSERT失败。A5 实现中的断言信息为 TEXP: Number of columns of src and dst must be the same. 与 TEXP: Number of rows of src and dst must be the same.见 include/pto/npu/a5/TUnaryOp.hpp。有效区域Valid Region语义TEXP 以dst.GetValidRow()/dst.GetValidCol()作为迭代域TEXP_IMPL读取目标 Tile 的有效行列数将其作为循环上界传给底层TExp逐元素内核。由于运行时已强制src与dst的有效区域一致实际遍历范围等价于两者公共的有效区域。这一设计允许同一个静态 Tile 形状在不同调用中以不同的动态有效区域执行是 PTO 动态 shape 支持的基础。平台差异A5 与 A2A3 的实现对比TEXP 在不同 NPU 架构上共享相同的内建接口与语义但底层实现存在差异A5如 Ascend 950PR / 950DT完整支持ExpAlgorithm双精度模式。TEXP_IMPL在类型与有效区域检查后将dst.data()/src.data()及有效行列数传给TExp内核函数内核根据 Tile 的有效列是否等于物理列数自动选择一维展开TUnaryOps_1D_Switch或二维循环TUnaryOps_2D实现见 include/pto/npu/a5/TUnaryOp.hpp。A2A3Atlas A3 训练/推理系列实现直接调用底层vexp指令见 include/pto/npu/a2a3/TUnaryOp.hppPrecisionType选项被忽略——即使显式传入ExpAlgorithm::HIGH_PRECISION行为也与默认模式相同。这与文档高精度算法仅在 A5 上有效的说明一致因此在编写跨平台 Kernel 时应避免依赖高精度模式的行为差异。使用示例Auto 与 Manual 模式Auto 模式编译器/运行时托管资源Auto 模式只需声明 Tile 并调用TEXP资源的地址分配、放置与调度全部交由编译器与运行时处理#include pto/pto-inst.hpp using namespace pto; void example_auto() { using TileT TileTileType::Vec, float, 16, 16; TileT src, dst; TEXP(dst, src); TEXPExpAlgorithm::HIGH_PRECISION(dst, src); // A5 Only }Manual 模式显式绑定资源Manual 模式下Tile 的物理地址需要先用TASSIGN显式绑定再发射指令#include pto/pto-inst.hpp using namespace pto; void example_manual() { using TileT TileTileType::Vec, float, 16, 16; TileT src, dst; TASSIGN(src, 0x1000); TASSIGN(dst, 0x2000); TEXP(dst, src); }完整的 Kernel 级用法含数据搬运与同步仓库中的 ST 测试用例 tests/npu/a5/src/st/testcase/texp/texp_kernel.cpp 展示了 TEXP 在真实 Kernel 中的完整链路TASSIGN绑定地址 →TLOAD从全局内存加载源数据 →set_flag/wait_flag做 MTE2 到 V 管线的同步 →TEXP计算 → 再次同步 V 到 MTE3 →TSTORE写回。测试还通过模板参数highPrecision在运行时选择ExpAlgorithm::DEFAULT或ExpAlgorithm::HIGH_PRECISIONconstexpr auto precisionType highPrecision ? ExpAlgorithm::HIGH_PRECISION : ExpAlgorithm::DEFAULT; TEXPprecisionType(dstTile, srcTile);同时测试覆盖了**原地运算in-place**场景当isInPlace为真时dst与src指向同一块地址TASSIGN(dstTile, 0x0)验证 TEXP 在输入输出重叠时的正确性。A2A3 侧对应的用例位于 tests/npu/a2a3/src/st/testcase/texp/texp_kernel.cpp 与 tests/npu/a2a3/src/st/testcase/texp/main.cpp同样覆盖了float、aclFloat16两种数据类型及原地/非原地两种模式。ASM 形式示例Auto 与 Manual 模式对照Auto 模式——编译器/运行时负责资源放置与调度无需显式 tassign# Auto mode: compiler/runtime-managed placement and scheduling. %dst pto.texp %src : !pto.tile... - !pto.tile...Manual 模式——资源必须在使用前显式绑定对 Tile 操作数可选绑定# Manual mode: resources must be bound explicitly before issuing the instruction. # Optional for tile operands: # pto.tassign %arg0, tile(0x1000) # pto.tassign %arg1, tile(0x2000) %dst pto.texp %src : !pto.tile... - !pto.tile...PTO 汇编形式含 AS Level 2 DPS 形式对照%dst texp %src : !pto.tile... # AS Level 2 (DPS) pto.texp ins(%src : !pto.tile_buf...) outs(%dst : !pto.tile_buf...)CPU 模拟实现行为级参考TEXP 在 CPU 模拟器侧同样有完整实现作为行为级参考模型。入口位于 include/pto/cpu/ElementTileOp.htemplate auto PrecisionType ExpAlgorithm::DEFAULT, typename TileDataDst, typename TileDataSrc PTO_INTERNAL void TEXP_IMPL(TileDataDst dst, TileDataSrc src) { UnaryElementTileOp_ImplElementOp::OP_EXP(dst, src); }其逐元素计算由 include/pto/cpu/ElementOp.h 中的ElementOpCalDType, ElementOp::OP_EXP完成对half/aclFloat16类型使用expf先提升到 float 再计算其余类型使用std::exp双精度计算后回落到目标类型。CPU 实现不区分精度模式可作为数值正确性验证的参考基准——NPU 上的浮点指数结果理论上应逼近该行为级实现。实践建议精度优先场景在 A5 上对float/half数据需要更精确的指数结果时显式传入ExpAlgorithm::HIGH_PRECISION对速度敏感且精度要求不高的场景如大部分 softmax 前向保持默认DEFAULT即可获得更快的vexp执行。跨平台兼容由于 A2A3 会忽略精度选项若代码需要在 A5 与 A3 间迁移不应把高精度结果作为跨平台一致性的依赖。形状约束确保src与dst的 DType 相同、均为Vec位置行主序 Tile且有效行列在静态边界内并运行时一致否则会在编译期或运行时被检查逻辑拦截。数据搬运闭环在实际 Kernel 中TEXP 前应通过TLOAD加载数据并用事件同步保证 MTE2→V 依赖计算后经 V→MTE3 同步再用TSTORE落盘参见上文测试用例的完整写法。【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isa创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 PTO-ISA 指令详解：TEXP 逐元素指数运算的语义、精度模式与平台实现
PTO-ISA 指令详解TEXP 逐元素指数运算的语义、精度模式与平台实现【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isaTEXPTile EXPonential是 CANN PTO-ISA 虚拟指令集中面向向量 Tile 的逐元素指数运算指令负责在给定有效区域内完成dst exp(src)的数学变换。本文以 TEXP 官方文档中文版为主体结合仓库内的内建接口声明、A5 / A2A3 / CPU 三端实现与 ST 测试用例完整讲解 TEXP 的指令语义、SSA / DPS 两级汇编语法、ExpAlgorithm精度模式的选择与平台差异以及使用 Auto / Manual 两种编程模式的实操示例帮助读者在向量计算 Kernel 中正确、高效地使用指数运算。指令概述与数学语义TEXP 是标准的逐元素elementwise一元运算指令作用于向量 TileTileType::Vec。对于有效区域内的每一个元素(i, j)其数学定义为$$ \mathrm{dst}{i,j} \exp(\mathrm{src}{i,j}) $$其中src为源 Tile、dst为目标 Tile二者形状与有效区域一致。该运算属于超越函数族transcendental在注意力机制中的 softmax 分母计算、各种归一化层与激活函数中都有广泛应用常与 TROWSUM、TLOG、TDIV 等指令组合实现完整算子流水。从指令分类看TEXP 与 TLOG、TSQRT、TRECIP、TPOW 等同属向量一元超越运算均以TUnaryOp为公共执行骨架见下文源码解析。汇编语法从 PTO 汇编到两级 AS 形式TEXP 在汇编层提供了三种书写形式分别对应同步 PTO 汇编、AS Level 1SSA 形式与 AS Level 2DPS 形式同步 PTO 汇编形式%dst texp %src : !pto.tile...AS Level 1SSA 形式以pto.前缀标识显式给出结果与操作数的 Tile 类型签名%dst pto.texp %src : !pto.tile... - !pto.tile...AS Level 2DPS 形式采用ins(...) / outs(...)的输入输出参数约定操作数类型为!pto.tile_buf...pto.texp ins(%src : !pto.tile_buf...) outs(%dst : !pto.tile_buf...)三种形式对应 PTO-ISA 面向不同抽象层级的表达PTO 汇编面向最终发射SSA 面向编译器 IRDPS 形式显式声明了数据放置DPS Data Placement Syntax便于调度器进行资源分配与流水编排。C 内建接口与模板参数TEXP 的 C 内建接口intrinsic声明于 include/pto/common/pto_instr.hpp公共包含头为pto/pto-inst.hpptemplate auto PrecisionType ExpAlgorithm::DEFAULT, typename TileDataDst, typename TileDataSrc, typename... WaitEvents PTO_INST RecordEvent TEXP(TileDataDst dst, TileDataSrc src, WaitEvents ... events);接口要点PrecisionType精度模式模板参数取值来自 include/pto/common/type.hpp 中定义的枚举enum class ExpAlgorithm : uint8_t { DEFAULT, HIGH_PRECISION }。默认值为ExpAlgorithm::DEFAULT。TileDataDst/TileDataSrc目标与源 Tile 类型通常为TileTileType::Vec, DType, Rows, Cols, ...模板实例也支持带动态有效行列的 Tile。WaitEvents...可变模板参数传入需要等待的事件对象。TEXP 在发射前会先调用detail::PtoWaitEvents(events...)等待这些事件就绪实现指令间的依赖同步。返回值RecordEvent指令发射后返回事件记录可用于后续指令的依赖等待支持流水并行。PTO_INST内建接口的统一标记宏表明该函数为 PTO 指令入口。精度模式ExpAlgorithm的语义PrecisionType可指定以下两个值取值含义适用性ExpAlgorithm::DEFAULT普通算法执行速度快但数值精度较低全部支持平台ExpAlgorithm::HIGH_PRECISION高精度算法数值精度更高但执行速度较慢仅 Ascend A5如 Ascend 950PR / Ascend 950DT在 A2A3 上被忽略该精度选项直接映射到 A5 端的实现在 include/pto/npu/a5/TUnaryOp.hpp 中ExpOp::UnaryInstr通过编译期if constexpr判断当PrecisionType ExpAlgorithm::HIGH_PRECISION且数据类型为float或half时调用专用高精度实现ExpPrecisionImpl否则走常规vexp向量指令template ExpAlgorithm PrecisionType, typename T struct ExpOp { PTO_INTERNAL static void UnaryInstr(RegTensorT dstReg, RegTensorT srcReg, MaskReg pReg) { if constexpr ( PrecisionType ExpAlgorithm::HIGH_PRECISION (std::is_same_vT, float || std::is_same_vT, half)) { ExpPrecisionImpl(dstReg, srcReg, pReg); } else { vexp(dstReg, srcReg, pReg, MODE_ZEROING); } } };使用约束与合法性检查TEXP 的约束分为编译期静态检查与运行时检查两类最终由 A5 端TEXP_IMPL入口处的TUnaryCheckDstTile, SrcTile()统一执行见 include/pto/npu/a5/TUnaryOp.hpp数据类型DType必须是float或half含float32_t/float16_t别名其余类型触发static_assert编译失败。该检查通过needDataTypeCheck模板开关控制部分一元指令可关闭。Tile 位置src与dst都必须位于向量侧即TileData::Loc TileType::Vec。静态有效边界编译期要求TileData::ValidRow TileData::Rows且TileData::ValidCol TileData::Cols防止有效区域越界。布局必须为行主序TileData::isRowMajor true非行主序布局直接静态报错。类型一致性dst与src的 DType 必须相同std::is_same_v静态断言。运行时有效区域一致性src.GetValidRow() dst.GetValidRow()且src.GetValidCol() dst.GetValidCol()不满足时PTO_ASSERT失败。A5 实现中的断言信息为 TEXP: Number of columns of src and dst must be the same. 与 TEXP: Number of rows of src and dst must be the same.见 include/pto/npu/a5/TUnaryOp.hpp。有效区域Valid Region语义TEXP 以dst.GetValidRow()/dst.GetValidCol()作为迭代域TEXP_IMPL读取目标 Tile 的有效行列数将其作为循环上界传给底层TExp逐元素内核。由于运行时已强制src与dst的有效区域一致实际遍历范围等价于两者公共的有效区域。这一设计允许同一个静态 Tile 形状在不同调用中以不同的动态有效区域执行是 PTO 动态 shape 支持的基础。平台差异A5 与 A2A3 的实现对比TEXP 在不同 NPU 架构上共享相同的内建接口与语义但底层实现存在差异A5如 Ascend 950PR / 950DT完整支持ExpAlgorithm双精度模式。TEXP_IMPL在类型与有效区域检查后将dst.data()/src.data()及有效行列数传给TExp内核函数内核根据 Tile 的有效列是否等于物理列数自动选择一维展开TUnaryOps_1D_Switch或二维循环TUnaryOps_2D实现见 include/pto/npu/a5/TUnaryOp.hpp。A2A3Atlas A3 训练/推理系列实现直接调用底层vexp指令见 include/pto/npu/a2a3/TUnaryOp.hppPrecisionType选项被忽略——即使显式传入ExpAlgorithm::HIGH_PRECISION行为也与默认模式相同。这与文档高精度算法仅在 A5 上有效的说明一致因此在编写跨平台 Kernel 时应避免依赖高精度模式的行为差异。使用示例Auto 与 Manual 模式Auto 模式编译器/运行时托管资源Auto 模式只需声明 Tile 并调用TEXP资源的地址分配、放置与调度全部交由编译器与运行时处理#include pto/pto-inst.hpp using namespace pto; void example_auto() { using TileT TileTileType::Vec, float, 16, 16; TileT src, dst; TEXP(dst, src); TEXPExpAlgorithm::HIGH_PRECISION(dst, src); // A5 Only }Manual 模式显式绑定资源Manual 模式下Tile 的物理地址需要先用TASSIGN显式绑定再发射指令#include pto/pto-inst.hpp using namespace pto; void example_manual() { using TileT TileTileType::Vec, float, 16, 16; TileT src, dst; TASSIGN(src, 0x1000); TASSIGN(dst, 0x2000); TEXP(dst, src); }完整的 Kernel 级用法含数据搬运与同步仓库中的 ST 测试用例 tests/npu/a5/src/st/testcase/texp/texp_kernel.cpp 展示了 TEXP 在真实 Kernel 中的完整链路TASSIGN绑定地址 →TLOAD从全局内存加载源数据 →set_flag/wait_flag做 MTE2 到 V 管线的同步 →TEXP计算 → 再次同步 V 到 MTE3 →TSTORE写回。测试还通过模板参数highPrecision在运行时选择ExpAlgorithm::DEFAULT或ExpAlgorithm::HIGH_PRECISIONconstexpr auto precisionType highPrecision ? ExpAlgorithm::HIGH_PRECISION : ExpAlgorithm::DEFAULT; TEXPprecisionType(dstTile, srcTile);同时测试覆盖了**原地运算in-place**场景当isInPlace为真时dst与src指向同一块地址TASSIGN(dstTile, 0x0)验证 TEXP 在输入输出重叠时的正确性。A2A3 侧对应的用例位于 tests/npu/a2a3/src/st/testcase/texp/texp_kernel.cpp 与 tests/npu/a2a3/src/st/testcase/texp/main.cpp同样覆盖了float、aclFloat16两种数据类型及原地/非原地两种模式。ASM 形式示例Auto 与 Manual 模式对照Auto 模式——编译器/运行时负责资源放置与调度无需显式 tassign# Auto mode: compiler/runtime-managed placement and scheduling. %dst pto.texp %src : !pto.tile... - !pto.tile...Manual 模式——资源必须在使用前显式绑定对 Tile 操作数可选绑定# Manual mode: resources must be bound explicitly before issuing the instruction. # Optional for tile operands: # pto.tassign %arg0, tile(0x1000) # pto.tassign %arg1, tile(0x2000) %dst pto.texp %src : !pto.tile... - !pto.tile...PTO 汇编形式含 AS Level 2 DPS 形式对照%dst texp %src : !pto.tile... # AS Level 2 (DPS) pto.texp ins(%src : !pto.tile_buf...) outs(%dst : !pto.tile_buf...)CPU 模拟实现行为级参考TEXP 在 CPU 模拟器侧同样有完整实现作为行为级参考模型。入口位于 include/pto/cpu/ElementTileOp.htemplate auto PrecisionType ExpAlgorithm::DEFAULT, typename TileDataDst, typename TileDataSrc PTO_INTERNAL void TEXP_IMPL(TileDataDst dst, TileDataSrc src) { UnaryElementTileOp_ImplElementOp::OP_EXP(dst, src); }其逐元素计算由 include/pto/cpu/ElementOp.h 中的ElementOpCalDType, ElementOp::OP_EXP完成对half/aclFloat16类型使用expf先提升到 float 再计算其余类型使用std::exp双精度计算后回落到目标类型。CPU 实现不区分精度模式可作为数值正确性验证的参考基准——NPU 上的浮点指数结果理论上应逼近该行为级实现。实践建议精度优先场景在 A5 上对float/half数据需要更精确的指数结果时显式传入ExpAlgorithm::HIGH_PRECISION对速度敏感且精度要求不高的场景如大部分 softmax 前向保持默认DEFAULT即可获得更快的vexp执行。跨平台兼容由于 A2A3 会忽略精度选项若代码需要在 A5 与 A3 间迁移不应把高精度结果作为跨平台一致性的依赖。形状约束确保src与dst的 DType 相同、均为Vec位置行主序 Tile且有效行列在静态边界内并运行时一致否则会在编译期或运行时被检查逻辑拦截。数据搬运闭环在实际 Kernel 中TEXP 前应通过TLOAD加载数据并用事件同步保证 MTE2→V 依赖计算后经 V→MTE3 同步再用TSTORE落盘参见上文测试用例的完整写法。【免费下载链接】pto-isaParallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performance, cross-platform tile operations across Ascend platforms.项目地址: https://gitcode.com/cann/pto-isa创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考