
CANN ops-math 算子 API 编译与运行实战从 CMake 配置到 aclnn 调用排错【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math本文围绕 ops-mathCANN 数学类算子库的官方文档 编译与运行样例 展开完整讲解如何通过 aclnn 两段式接口调用算子 API 的编译运行全流程包括开发运行合设场景的环境准备、CMakeLists.txt 的逐项配置含通算融合算子的 HCCL 线程库扩展、source set_env.sh环境变量生效方式、cmake/make 编译命令、可执行文件运行与结果验证以及使用aclGetRecentErrMsg获取报错细节的排错方法。读完本文你可以独立完成任意数学类算子 API 样例工程的搭建、编译、运行与常见问题定位。前提说明如需编译执行算子 API请确保基础环境已搭建完成包括驱动、固件、CANN 软件包、ops 包等。本文档聚焦如何编译并运行一个 aclnn 调用工程因此不再赘述环境搭建细节算子 API 的调用流程与运行操作可对照华为官方文档《应用开发CC》中单算子调用 单算子API执行 调用 aclnn 接口示例代码章节理解整体调用逻辑。ops-math 仓库本身也提供了大量可直接参考的调用样例工程。例如 add_example 提供了test_aclnn_add_example.cpp调用样例其他数学类算子的调用逻辑、流程、编译脚本与该样例大致一致实际开发时可按本文方法替换对应的 API 头文件与调用代码。编译前准备本文以开发和运行环境合设场景为例即带 AI 处理器的机器既作为开发环境又作为运行环境代码开发和代码运行在同一台机器上。这里以Abs 算子为例其他算子的调用逻辑、流程、编译脚本与 Abs 算子大致一样请根据实际情况自行修改 API 调用脚本*.cpp和编译脚本CMakeLists。示例代码 test_abs.cpp已知 Abs 算子功能是计算张量中每个元素的绝对值计算公式为$$ y_i |x_i| $$可以从 aclnnAbs 文档中获取调用示例代码并将代码文件命名为test_abs.cpp。结合本仓库中 test_aclnn_add_example.cpp 这一真实样例可以看到一个标准的 aclnn 调用程序包含如下固定骨架Init 初始化依次调用aclInit(nullptr)、aclrtSetDevice(deviceId)、aclrtCreateStream(stream)完成 ACL 运行时初始化参见该文件Init函数第 60~70 行构造输入输出张量通过aclrtMalloc申请 device 侧内存、aclrtMemcpy拷贝 host 数据再用aclCreateTensor创建aclTensorCreateAclTensor函数第 72~96 行。注意连续张量的 strides 由 shape 反向累乘得到格式指定为ACL_FORMAT_ND调用两段式接口先调用第一段接口xxxGetWorkspaceSize计算 workspace 大小按workspaceSize申请 device 内存再调用第二段接口执行计算第 142~155 行同步与取回结果aclrtSynchronizeStream(stream)同步等待任务结束aclrtMemcpy将结果从 device 拷回 host资源释放aclDestroyTensor释放张量、aclrtFree释放 device 内存、aclrtDestroyStream销毁流、aclrtResetDevice重置设备、aclFinalize去初始化。这里涉及的两段式接口约定在文档 两段式接口 中有正式说明aclnnStatus aclxxXxxGetWorkspaceSize(const aclTensor *src, ..., aclTensor *out, ..., uint64_t *workspaceSize, aclOpExecutor **executor); aclnnStatus aclxxXxx(void *workspace, uint64_t workspaceSize, aclOpExecutor *executor, aclrtStream stream);必须先调用第一段接口aclxxXxxGetWorkspaceSize计算本次 API 调用需要多少 workspace 内存获取workspaceSize后按该大小申请 NPU 内存然后调用第二段接口aclxxXxx执行计算。其中aclxx表示算子接口前缀如 aclnnXxx表示算子名如 Add。需要特别注意两点约束workspace是指除输入/输出外算子在 NPU 上完成计算所需的临时内存workspaceSize表示其大小第二段接口不能重复调用同一executor上重复执行aclxxXxx(...)会出现异常。test_abs.cpp中所有 API 调用都应使用CHECK_RET宏检查返回值样例中该宏的标准写法可对照 test_aclnn_add_example.cpp 第 21~31 行#define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0)CMakeLists 文件CMake 文件示例如下请根据实际情况修改# Copyright (c) Huawei Technologies Co., Ltd. 2019. All rights reserved. # CMake lowest version requirement cmake_minimum_required(VERSION 3.14) # 设置工程名 project(ACLNN_EXAMPLE) # Compile options add_compile_options(-stdc11) # 设置编译选项 set(CMAKE_RUNTIME_OUTPUT_DIRECTORY ./bin) set(CMAKE_CXX_FLAGS_DEBUG -fPIC -O0 -g -Wall) set(CMAKE_CXX_FLAGS_RELEASE -fPIC -O2 -Wall) # 设置可执行文件名如opapi_test并指定待运行算子文件*.cpp所在目录 add_executable(opapi_test test_abs.cpp) # 设置ASCEND_PATHCANN软件包目录请根据实际路径修改和INCLUDE_BASE_DIR头文件目录 if(NOT $ENV{ASCEND_CUSTOM_PATH} STREQUAL ) set(ASCEND_PATH $ENV{ASCEND_CUSTOM_PATH}) else() set(ASCEND_PATH /usr/local/Ascend/cann) endif() set(INCLUDE_BASE_DIR ${ASCEND_PATH}/include) include_directories( ${INCLUDE_BASE_DIR} ${INCLUDE_BASE_DIR}/aclnn ) # 设置链接的库文件路径 target_link_libraries(opapi_test PRIVATE ${ASCEND_PATH}/lib64/libascendcl.so ${ASCEND_PATH}/lib64/libnnopbase.so ${ASCEND_PATH}/lib64/libopapi_math.so) # 可执行文件在CMakeLists文件所在目录的bin目录下 install(TARGETS opapi_test DESTINATION ${CMAKE_RUNTIME_OUTPUT_DIRECTORY})逐项理解这个 CMake 的关键点CMake 版本要求最低 3.14编译选项为-stdc11。输出目录CMAKE_RUNTIME_OUTPUT_DIRECTORY设为./bin即可执行文件统一落在 CMakeLists 所在目录下的bin子目录中与后文进入 bin 目录运行的步骤呼应。ASCEND_PATH 的取值优先级优先读取环境变量ASCEND_CUSTOM_PATHCANN 软件包目录未设置时回退到默认安装路径/usr/local/Ascend/cann。修改 CANN 安装位置时设置ASCEND_CUSTOM_PATH比重改 CMakeLists 更灵活。头文件目录include与include/aclnn两个目录前者提供acl/acl.h等 ACL 运行时头文件后者提供aclnn_abs.h等算子 API 头文件。链接的三个库 | 库文件 | 作用 | | --- | --- | |libascendcl.so| ACL 运行时接口设备/流/内存管理 | |libnnopbase.so| 算子 API 基础库aclTensor、aclOpExecutor 等 | |libopapi_math.so| ops-math 数学类算子 API 库aclnnAbs、aclnnAdd 等接口均在其中 |仓库脚本 scripts/build_example.sh 中非 CMake 方式的等价 g 编译命令也印证了同一组链接依赖g ${source_file} \ -I ${INCLUDE_PATH} \ -I ${ACLNN_INCLUDE_PATH} \ -L ${EAGER_LIBRARY_PATH} \ -lopapi_math -lascendcl -lnnopbase \ -o ${executable_name}从脚本结构看仓库内部就是用-lopapi_math -lascendcl -lnnopbase这三个库编译所有 eager 模式调用样例的与上文 CMakeLists 的链接配置完全一致。通算融合算子MC2的额外配置对于集合通信和 MatMul 计算融合、并行的算子统称为通算融合算子简称MC2 算子包括AllGatherMatmul、AlltoAllAllGatherBatchMatMul、BatchMatMulReduceScatterAlltoAll、MatmulAllReduce、MatmulAllReduceAddRmsNorm、MatmulReduceScatter等。调用该类算子 API 时一般会涉及多线程和 HCCLHuawei Collective Communication Library集合通信库因此 CMake 文件需要额外导入如下内容否则无法成功编译# 设置链接的库文件路径 find_package(Threads REQUIRED) target_link_libraries(opapi_test PRIVATE ${ASCEND_PATH}/lib64/libascendcl.so ${ASCEND_PATH}/lib64/libnnopbase.so ${ASCEND_PATH}/lib64/libopapi_math.so ${ASCEND_PATH}/lib64/libhccl.so # 集合通信库文件 ${CMAKE_THREAD_LIBS_INIT}) # 多线程依赖的库文件其中find_package(Threads REQUIRED)是 CMake 用于查找线程库的命令可自动链接线程库依赖的头文件或间接依赖的库文件${CMAKE_THREAD_LIBS_INIT}是该命令解析出的线程库链接变量二者缺一不可。普通数学算子Abs、Add 等不涉及集合通信无需链接libhccl.so与线程库。编译与运行步骤一准备文件提前准备好算子的调用代码*.cpp即test_abs.cpp和编译脚本CMakeLists.txt。步骤二配置环境变量安装 CANN 软件后使用 CANN 运行用户登录环境执行如下命令生效环境变量source ${INSTALL_DIR}/set_env.sh其中${INSTALL_DIR}为 CANN 软件安装后文件存储路径请根据实际情况替换。此步骤会设置好ASCEND_HOME_PATH、LD_LIBRARY_PATH等运行时依赖变量是编译与运行前的必要前置动作。步骤三编译并运行1. 新建 build 目录进入 CMakeLists.txt 所在目录执行如下命令新建 build 目录存放生成的编译文件mkdir -p build2. cmake 配置 make 编译进入 build 目录执行 cmake 命令编译再执行 make 命令生成可执行文件cd build cmake ../ -DCMAKE_CXX_COMPILERg -DCMAKE_SKIP_RPATHTRUE make编译成功后会在 build 目录的bin 文件夹下生成opapi_test可执行文件与 CMakeLists 中CMAKE_RUNTIME_OUTPUT_DIRECTORY ./bin的设定一致。3. 运行可执行文件进入 bin 目录运行opapi_testcd bin ./opapi_test以 Abs 算子的运行结果为例输入为[-1, -1, -1, 2, 2, 2, 3, 3]时运行后的结果示例如下result[0] is: 1.000000 result[1] is: 1.000000 result[2] is: 1.000000 result[3] is: 2.000000 result[4] is: 2.000000 result[5] is: 2.000000 result[6] is: 3.000000 result[7] is: 3.000000每个result[i]均等于对应输入元素的绝对值符合y_i |x_i|的计算公式说明算子在 NPU 上计算正确。报错排查aclGetRecentErrMsg 与返回码若执行结果报错、未出现预期结果可以使用aclGetRecentErrMsg接口获取报错具体信息。该接口返回最近一次 API 调用的错误描述字符串建议与返回码一并打印。典型调用写法调用aclnnAbsGetWorkspaceSize报错时获取异常信息的示例如下// self is nullptr ret aclnnAbsGetWorkspaceSize(self, out, workspaceSize, executor); CHECK_RET(ret ACL_SUCCESS, LOG_PRINT(aclnnAbsGetWorkspaceSize failed. ERROR: %d.\n[ERROR msg]%s, ret, aclGetRecentErrMsg()); return ret);上述构造空指针问题时的实际报错输出示例如下aclnnAbsGetWorkspaceSize failed. ERROR: 161001 [ERROR msg][PID:xxxx] xxx(timestamp) AclNN_Parameter_Error(EZ1001): Expected a value of type [aclTensor] for argument [self] but instead found nullptr.从这条报错可以读出三个排查要素错误码161001、错误类别AclNN_Parameter_Error、以及明确指出是参数[self]收到了nullptr。常见返回码对照结合文档 aclnn返回码调用 aclnn API 时常见的接口返回码如下遇到报错可先查表定位大类状态码名称状态码值状态码说明ACLNN_SUCCESS0成功。ACLNN_ERR_PARAM_NULLPTR161001参数校验错误参数中存在非法的 nullptr上文示例即此类。ACLNN_ERR_PARAM_INVALID161002参数校验错误如输入的两个数据类型不满足输入类型推导关系。ACLNN_ERR_RUNTIME_ERROR361001API 内部调用 npu runtime 的接口异常。ACLNN_ERR_INNER_XXX561xxxAPI 内部发生异常。对于 561xxx 系列内部异常码同一文档给出了更细粒度的对照表几个高频场景值得记住状态码名称状态码值状态码说明ACLNN_ERR_INNER_INFERSHAPE_ERROR561001API 内部进行输出 shape 推导发生错误。ACLNN_ERR_INNER_TILING_ERROR561002API 内部做 npu kernel 的 tiling 时发生异常。ACLNN_ERR_INNER_FIND_KERNEL_ERROR561003查找 npu kernel 异常可能因为算子二进制包未安装。ACLNN_ERR_INNER_OPP_PATH_NOT_FOUND561107没有检测到需要配置的环境变量ASCEND_OPP_PATH。ACLNN_ERR_INNER_OPP_KERNEL_PKG_NOT_FOUND561112没有加载到算子的二进制 kernel 库。也就是说如果第一段接口返回 561003/561107/561112 这类内部错误排查方向通常是 ops 包安装不完整或ASCEND_OPP_PATH未正确配置而不是调用代码本身的问题而 161xxx 参数类错误则应检查张量构造device 地址、shape、dtype、strides 是否合法。延伸阅读仓库 examples 目录提供 AI Core、AI Core C API、AI CPU 三类算子开发样例其中 add_example/examples/test_aclnn_add_example.cpp 是最贴近本文 Abs 示例的完整 aclnn 调用工程scripts/build_example.sh 展示了仓库批量编译运行样例的脚本实现eager 模式编译命令可直接作为本文 CMake 配置之外的快速验证手段概念类文档 两段式接口 与 aclnn返回码 分别解释调用流程约定与完整错误码表可与本文配套使用。【免费下载链接】ops-math本项目是CANN提供的数学类基础计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-math创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考