样例使用指导【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge1、功能描述本样例使用动态输出算子进行构图旨在帮助构图开发者快速理解动态输出的定义和使用2、目录结构cpp/ ├── src/ | └── CMakeLists.txt // CMake构建文件 | └── es_showcase.h // 头文件 | └── make_split_graph.cpp // sample文件 ├── CMakeLists.txt // CMake构建文件 ├── main.cpp // 程序主入口 ├── README.md // README文件 ├── run_sample.sh // 执行脚本 ├── utils.h // 工具文件3、使用方法3.1、准备cann包通过安装指导 环境准备正确安装toolkit和ops包设置环境变量 (假设包安装在/usr/local/Ascend/)source /usr/local/Ascend/cann/set_env.sh3.2、编译和执行只需运行下述命令即可完成清理、生成接口、构图和DUMP图bash run_sample.sh当前 run_sample.sh 的行为是先自动清理旧的 build构建 sample并默认执行sample dump 。当看到如下信息代表执行成功[Success] sample 执行成功pbtxt dump 已生成在当前目录。该文件以 ge_onnx_ 开头可以在 netron 中打开显示可通过data文件查看计算结果输出文件说明执行成功后会在当前目录生成以下文件ge_onnx_*.pbtxt- 图结构的protobuf文本格式可用netron查看构建图并执行除了基本的图构建和dump功能外esb_sample还支持构建图并实际执行计算。bash run_sample.sh -t sample_and_run该命令会自动生成ES接口编译sample程序生成dump图、运行图并输出计算结果执行成功后会看到[Success] sample_and_run 执行成功pbtxt和data输出dump 已生成在当前目录3.3、日志打印可执行程序执行过程中如果需要日志打印来辅助定位可以在bash run_sample.sh之前设置如下环境变量来让日志打印到屏幕export ASCEND_SLOG_PRINT_TO_STDOUT1 #日志打印到屏幕 export ASCEND_GLOBAL_LOG_LEVEL0 #日志级别为debug级别3.4、图编译流程中DUMP图可执行程序执行过程中如果需要DUMP图来辅助定位图编译流程可以在 bash run_sample.sh -t sample_and_run 之前设置如下环境变量来DUMP图到执行路径下export DUMP_GE_GRAPH24、核心概念介绍4.1、构图步骤如下创建图构建器(用于提供构图所需的上下文、工作空间及构建相关方法)添加起始节点(起始节点指无输入依赖的节点通常包括图的输入(如 Data 节点)和权重常量(如 Const 节点))添加中间节点(中间节点为具有输入依赖的计算节点通常由用户构图逻辑生成并通过已有节点作为输入连接)设置图输出(明确图的输出节点作为计算结果的终点)4.2、动态输出概念说明动态输出是指某些算子的输出的个数不固定例如 Split 算子该算子为动态多输出算子构图 API 特点需要一个参数来传递动态输出的个数例如 Split 算子原型如下所示ES 构图生成的API是 SplitC或 EsSplitCREG_OP(Split) .INPUT(split_dim, TensorType({DT_INT32})) .INPUT(x, TensorType({DT_COMPLEX128, DT_COMPLEX64, DT_DOUBLE, DT_FLOAT, DT_FLOAT16, DT_INT16, DT_INT32, DT_INT64, DT_INT8, DT_QINT16, DT_QINT32, DT_QINT8, DT_QUINT16, DT_QUINT8, DT_UINT16, DT_UINT32, DT_UINT64, DT_UINT8, DT_BF16, DT_BOOL})) .DYNAMIC_OUTPUT(y, TensorType({DT_COMPLEX128, DT_COMPLEX64, DT_DOUBLE, DT_FLOAT, DT_FLOAT16, DT_INT16, DT_INT32, DT_INT64, DT_INT8, DT_QINT16, DT_QINT32, DT_QINT8, DT_QUINT16, DT_QUINT8, DT_UINT16, DT_UINT32, DT_UINT64, DT_UINT8, DT_BF16, DT_BOOL})) .REQUIRED_ATTR(num_split, Int) .OP_END_FACTORY_REG(Split)其对应的函数原型为函数名SplitC或 EsSplitC参数共 4 个依次为 split_dim x y_num num_split返回值输出 y注因为当前 IR 定义中未显式描述“输入/属性 → 动态输出数量”的映射关系导致构图 API 难以自动推导输出个数因此需要手动指定输出数量 若需自定义API请参考 自定义ES_API.mdC API中typedef struct { EsCTensorHolder **y; int64_t y_num; } EsSplitOutput; EsSplitOutput* EsSplit(EsCTensorHolder *split_dim, EsCTensorHolder *x, int64_t y_num, int64_t num_split);C APIstd::vectorEsTensorHolder Split(const EsTensorLike split_dim, const EsTensorLike x, int64_t y_num, int64_t num_split);注使用TensorLike类型表达输入以支持实参可以直接传递数值的情况【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 CANN/ge动态输出算子示例
样例使用指导【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge1、功能描述本样例使用动态输出算子进行构图旨在帮助构图开发者快速理解动态输出的定义和使用2、目录结构cpp/ ├── src/ | └── CMakeLists.txt // CMake构建文件 | └── es_showcase.h // 头文件 | └── make_split_graph.cpp // sample文件 ├── CMakeLists.txt // CMake构建文件 ├── main.cpp // 程序主入口 ├── README.md // README文件 ├── run_sample.sh // 执行脚本 ├── utils.h // 工具文件3、使用方法3.1、准备cann包通过安装指导 环境准备正确安装toolkit和ops包设置环境变量 (假设包安装在/usr/local/Ascend/)source /usr/local/Ascend/cann/set_env.sh3.2、编译和执行只需运行下述命令即可完成清理、生成接口、构图和DUMP图bash run_sample.sh当前 run_sample.sh 的行为是先自动清理旧的 build构建 sample并默认执行sample dump 。当看到如下信息代表执行成功[Success] sample 执行成功pbtxt dump 已生成在当前目录。该文件以 ge_onnx_ 开头可以在 netron 中打开显示可通过data文件查看计算结果输出文件说明执行成功后会在当前目录生成以下文件ge_onnx_*.pbtxt- 图结构的protobuf文本格式可用netron查看构建图并执行除了基本的图构建和dump功能外esb_sample还支持构建图并实际执行计算。bash run_sample.sh -t sample_and_run该命令会自动生成ES接口编译sample程序生成dump图、运行图并输出计算结果执行成功后会看到[Success] sample_and_run 执行成功pbtxt和data输出dump 已生成在当前目录3.3、日志打印可执行程序执行过程中如果需要日志打印来辅助定位可以在bash run_sample.sh之前设置如下环境变量来让日志打印到屏幕export ASCEND_SLOG_PRINT_TO_STDOUT1 #日志打印到屏幕 export ASCEND_GLOBAL_LOG_LEVEL0 #日志级别为debug级别3.4、图编译流程中DUMP图可执行程序执行过程中如果需要DUMP图来辅助定位图编译流程可以在 bash run_sample.sh -t sample_and_run 之前设置如下环境变量来DUMP图到执行路径下export DUMP_GE_GRAPH24、核心概念介绍4.1、构图步骤如下创建图构建器(用于提供构图所需的上下文、工作空间及构建相关方法)添加起始节点(起始节点指无输入依赖的节点通常包括图的输入(如 Data 节点)和权重常量(如 Const 节点))添加中间节点(中间节点为具有输入依赖的计算节点通常由用户构图逻辑生成并通过已有节点作为输入连接)设置图输出(明确图的输出节点作为计算结果的终点)4.2、动态输出概念说明动态输出是指某些算子的输出的个数不固定例如 Split 算子该算子为动态多输出算子构图 API 特点需要一个参数来传递动态输出的个数例如 Split 算子原型如下所示ES 构图生成的API是 SplitC或 EsSplitCREG_OP(Split) .INPUT(split_dim, TensorType({DT_INT32})) .INPUT(x, TensorType({DT_COMPLEX128, DT_COMPLEX64, DT_DOUBLE, DT_FLOAT, DT_FLOAT16, DT_INT16, DT_INT32, DT_INT64, DT_INT8, DT_QINT16, DT_QINT32, DT_QINT8, DT_QUINT16, DT_QUINT8, DT_UINT16, DT_UINT32, DT_UINT64, DT_UINT8, DT_BF16, DT_BOOL})) .DYNAMIC_OUTPUT(y, TensorType({DT_COMPLEX128, DT_COMPLEX64, DT_DOUBLE, DT_FLOAT, DT_FLOAT16, DT_INT16, DT_INT32, DT_INT64, DT_INT8, DT_QINT16, DT_QINT32, DT_QINT8, DT_QUINT16, DT_QUINT8, DT_UINT16, DT_UINT32, DT_UINT64, DT_UINT8, DT_BF16, DT_BOOL})) .REQUIRED_ATTR(num_split, Int) .OP_END_FACTORY_REG(Split)其对应的函数原型为函数名SplitC或 EsSplitC参数共 4 个依次为 split_dim x y_num num_split返回值输出 y注因为当前 IR 定义中未显式描述“输入/属性 → 动态输出数量”的映射关系导致构图 API 难以自动推导输出个数因此需要手动指定输出数量 若需自定义API请参考 自定义ES_API.mdC API中typedef struct { EsCTensorHolder **y; int64_t y_num; } EsSplitOutput; EsSplitOutput* EsSplit(EsCTensorHolder *split_dim, EsCTensorHolder *x, int64_t y_num, int64_t num_split);C APIstd::vectorEsTensorHolder Split(const EsTensorLike split_dim, const EsTensorLike x, int64_t y_num, int64_t num_split);注使用TensorLike类型表达输入以支持实参可以直接传递数值的情况【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考