编译器深度学习模型优化【免费下载链接】tvmOpen deep learning compiler stack for cpu, gpu and specialized accelerators项目地址https://gitcode.com/gh_mirrors/tvm7/tvm点击查看免费下载tvm.relay.testing是 Apache TVM本仓库为gh_mirrors/tvm7/tvm中面向Relay IR 测试与基准benchmark的官方工具包其模块 docstring 即 Utilities for testing and benchmarks。本文以 docs/reference/api/python/relay/testing.rst 为主线深入其背后源码python/tvm/relay/testing系统讲解run_opt_pass、run_infer_type、check_grad等通用工具create_workload参数初始化机制以及 MLP、ResNet、MobileNet、Inception-V3、SqueezeNet、VGG、DenseNet、DCGAN、LSTM 等经典网络的 Relay 构建 API。读完本文你将能够直接用一行get_workload()获得带随机权重的(IRModule, params)用于测试与调优、为自定义 Relay 算子编写数值梯度校验、在仓库测试中复用整套网络构造基建。一、tvm.relay.testing 的整体定位与包结构tvm.relay.testing不是一个单文件工具而是一个聚合了多种能力的 Python 子包。从 python/tvm/relay/testing/init.py 可以看出它在导入时即完成以下三方面组织经典网络模型模块mlp、resnet、resnet_3d、dqn、dcgan、mobilenet、lstm、inception_v3、squeezenet、vgg、densenet、yolo_detection辅助/基础设施模块init参数初始化与create_workload、layersRelay 层 DSL 封装、temp_op_attr临时算子属性上下文、synthetic合成数据生成、nat自然数编码供 Prelude 测试、py_converterRelay 表达式转 Python 解释执行顶层再导出create_workload、count/make_nat_value/make_nat_expr、to_python/run_as_python以及从tvm.relay.transform再导出的gradient用于配合check_grad做自动微分梯度校验。也就是说文档中由 Sphinxautomodule指令渲染出的tvm.relay.testing及其mlp/resnet/dcgan/mobilenet/lstm/inception_v3/squeezenet/vgg/densenet子模块页面其真实内容全部来自上述源码中的函数 docstring 与公开 API。下文的每一个 API 均可通过import tvm.relay.testing as relay_testing或from tvm import relay后relay.testing.xxx直接使用。二、通用测试工具Pass 执行、类型推断与梯度校验2.1run_opt_pass在 IRModule 上执行单个 Passrun_opt_pass(expr, opt_pass, import_preludeFalse)是测试中高频使用的入口其实现位于 python/tvm/relay/testing/init.pydef run_opt_pass(expr, opt_pass, import_preludeFalse): assert isinstance(opt_pass, tvm.transform.Pass) mod tvm.IRModule.from_expr(expr) if import_prelude: Prelude(mod) mod relay.transform.InferType()(mod) mod opt_pass(mod) entry mod[main] return entry if isinstance(expr, relay.Function) else entry.body其执行链条为IRModule.from_expr包装表达式 → 可选导入Prelude涉及 ADT/列表等高层结构时使用→ 先运行InferType保证类型完整 → 再运行目标 Pass → 最终取出main函数若输入是relay.Function返回整个函数否则返回main.body。由于它要求opt_pass必须是tvm.transform.Pass实例因此在使用时需注意传入的是 Pass 对象而非函数名例如run_opt_pass(func, relay.transform.Legalize())。2.2run_infer_type快速类型推断def run_infer_type(expr): return run_opt_pass(expr, relay.transform.InferType())它是run_opt_pass的特化仅做类型推断不执行任何改写。在测试动态算子dynamic op时极其常用例如 tests/python/relay/dyn/test_dynamic_op_level10.py 与 tests/python/relay/dyn/test_dynamic_op_level2.py 中均通过zz run_infer_type(z)来验证动态算子的输出checked_type。2.3check_grad解析梯度与数值梯度的双侧逼近校验check_grad是整个工具包中最具含金量的测试函数完整签名如下源码位置def check_grad(func, inputsNone, test_inputsNone, eps1e-6, atol1e-5, rtol1e-3, scaleNone, mean0, modehigher_order, target_devicesNone, executor_kinddebug)它的工作流程实现细节对输入函数先后执行InferType与gradient自动微分mode参数控制微分模式再跑Legalize得到反向函数若未提供inputs则依据参数checked_type用正态随机数生成输入且默认把标准差scale设为10 * eps使随机输入与 epsilon 同量级、避免数值精度损失对应_np_randn_from_type的实现test_inputs用于只对部分输入做梯度匹配——这对动态算子中不可微的符号输入尤为重要未指定时默认等于全部inputs遍历target_devices默认tvm.testing.enabled_targets()见 python/tvm/testing 相关实现上的(target, dev)用relay.create_executor(executor_kind, devicedev, targettarget)分别求值前后向函数得到解析梯度对每个测试输入的每个元素做eps/-eps双侧差分(f(xeps)-f(x-eps))/(2*eps)得到数值梯度最后用np.testing.assert_allclose(grad, approx_grad, atolatol, rtolrtol)比较。仓库测试中的典型用法tests/python/relay/dyn/test_dynamic_op_level3.pycheck_grad(run_infer_type(func), inputs[x_data, y_data], eps1e-3)注意check_grad的 docstring 特别提醒若函数输入类型精度不足如 float16该测试可能失败因此默认atol1e-5, rtol1e-3需要针对所选eps与输入量级相应调整。2.4rand与count_ops随机张量与算子计数rand(dtype, *shape)一行生成指定 dtype 与形状的tvm.nd.array随机张量源码count_ops(expr)内部实现一个继承tvm.relay.ExprVisitor的OpCounter重写visit_call统计图中每个 op 的调用次数并返回collections.Counter源码适合在 pass 改写前后对比算子数量。三、基准 Workload 的基石create_workload 与参数初始化所有模型模块的get_workload()最终都调用同一个函数create_workload(net, initializerNone, seed0)其定义位于 python/tvm/relay/testing/init.pydef create_workload(net, initializerNone, seed0): mod tvm.IRModule.from_expr(net) mod relay.transform.InferType()(mod) shape_dict {v.name_hint: v.checked_type for v in mod[main].params} np.random.seed(seed) initializer initializer if initializer else Xavier() params {} for k, v in shape_dict.items(): if k data: continue init_value np.zeros(v.concrete_shape).astype(v.dtype) initializer(k, init_value) params[k] tvm.nd.array(init_value, devicetvm.cpu(0)) return mod, params关键语义有三点返回值为(mod, params)二元组mod是带类型信息的tvm.IRModuleparams是名字到NDArray的字典可直接交给relay.build/ VM / AutoTVM 图调优器使用data输入不参与初始化名为data的参数被跳过因为它代表模型输入而非权重初始化器按参数名后缀分派Initializer.__call__依据desc是否以weight/bias/gamma/beta/mean/var结尾分别调用_init_weight/_init_bias/_init_gamma/_init_beta/_init_mean/_init_varinit.py默认规则为bias/beta/mean 置 0gamma/var 置 1weight 由子类实现。包内自带两种权重初始化器Xavier(rnd_typeuniform, factor_typeavg, magnitude3)默认初始化器。按 fan_in/fan_out 计算scale sqrt(magnitude/factor)并在[-scale, scale]均匀采样其内部还有一个针对 MobileNet 的细节——当参数名含depthwise时factor hw_scale因为深度可分离卷积连接更稀疏init.pyConstant()把矩阵所有元素置为1/num_elements使权重和归一为 1init.py。四、layers.py快速搭建网络的 Layer DSL 封装多个模型模块复用了 python/tvm/relay/testing/layers.py 中的轻量封装它们的作用是自动创建带名字的权重 Var避免每个模型手写大量relay.var函数行为conv2d(data, weightNone, **kwargs)未给weight时自动创建relay.var(name _weight)conv3d(...)3D 卷积同理conv2d_transpose(...)转置卷积DCGAN 反卷积上采样使用batch_norm_infer(...)自动创建_gamma/_beta/_moving_mean/_moving_var四个 Var并只返回 batch_norm 的第一个输出归一化结果dense_add_bias(data, weight, bias, units, ...)densebias_add(axis-1)组合conv_kernel_layout(data_layout, is_depthwiseFalse)布局映射NCHW→OIHW、NHWC→HWIOdepthwise 时 NHWC→HWOI这些封装对统一布局处理至关重要模型可以传layoutNCHW或NHWC卷积核布局随之切换从而支持在内存布局偏好不同的后端上构造同一网络。五、经典 CNN 模型构造 API 详解5.1mlp极简多层感知机MNIST 默认配置python/tvm/relay/testing/mlp.py 提供get_net(batch_size, num_classes10, image_shape(1, 28, 28), dtypefloat32)。网络结构为batch_flatten→dense(128)→relu→dense(64)→relu→dense(num_classes)→softmax。get_workload与get_net参数完全一致默认即 MNIST 场景1×28×28 灰度图、10 类。5.2resnet支持 18/34/50/101/152/200/269 层python/tvm/relay/testing/resnet.py 实现了 He 等提出的 ResNet 结构。核心 APIresidual_unit(data, num_filter, stride, dim_match, name, bottle_neckTrue, data_layoutNCHW, kernel_layoutIOHW)残差单元bottle_neckTrue时采用 1×1→3×3→1×1 瓶颈结构dim_match决定 shortcut 是否走 1×1 卷积投影get_net(batch_size, num_classes, num_layers50, image_shape(3,224,224), layoutNCHW, dtypefloat32)get_workload(batch_size1, num_classes1000, num_layers18, image_shape(3,224,224), ...)。实现中有两处值得注意的自动分支逻辑resnet.py按输入高度分流当height 32典型如 CIFAR-10 的 32×32时卷积核从 7×7/stride 2 降为 3×3/stride 1且 stage 数为 3、filter 列表变为[16,16,32,64]或[16,64,128,256]height 32如 ImageNet 的 224时走标准 4-stage 配置filter 列表为[64,256,512,1024,2048]bottleneck或[64,64,128,256,512]非 bottleneck按层数校验配置小图场景仅接受(num_layers-2) % 9 0≥164 层bottleneck或(num_layers-2) % 6 0164 层的层数否则抛出ValueError大图场景则精确匹配 18/34/50/101/152/200/269 的 units 表如 50 层对应[3,4,6,3]101 层对应[3,4,23,3]。5.3mobilenet深度可分离卷积 宽度因子 alphapython/tvm/relay/testing/mobilenet.py 将 NNVM 版 MobileNet 移植到 Relay。mobile_net(num_classes1000, data_shape(1,3,224,224), dtypefloat32, alpha1.0, is_shallowFalse, layoutNCHW)是底层构造函数conv_block标准 ConvBNReLUseparable_conv_blockDepthwise Convgroupsdepthwise_channels权重形状 NCHW 下为(C,1,kh,kw) BN ReLU再接 1×1 Pointwise Conv BN ReLUdownsampleTrue时 stride2alpha作为宽度因子缩放所有通道数如int(32*alpha)is_shallowTrue时走 8 个 separable block 的浅层版本否则走 13 个 block 的标准版本。get_workload(batch_size1, num_classes1000, image_shape(3,224,224), dtypefloat32, layoutNCHW)固定使用alpha1.0, is_shallowFalse。仓库中 tests/python/contrib/test_clml/test_compiler.py 即以relay.testing.mobilenet.get_workload(batch_size1)构造编译输入。5.4inception_v3五阶段 Inception 模块python/tvm/relay/testing/inception_v3.py 面向约 299×299 输入定义了Inception7A/7B/7C/7D/7E五类模块Inception7A1×1、5×5、双层 3×3 三个卷积塔 池化塔的 concatenateInception7B首个下采样块stride 2 卷积与 max-pool 拼接Inception7C引入 1×7/7×1 非对称分解num_d7_*与num_q7_*两组Inception7D第二下采样块Inception7E3×3 分解为 1×33×1 的双分支结构。get_workload(batch_size1, num_classes1000, image_shape(3,299,299), dtypefloat32)按conv(32, s2) → conv(32) → conv(64) → maxpool → conv(80) → conv(192) → maxpool → mixed(mixed_0..mixed_10)顺序组装inception_v3.py最后接 8×8 平均池化、flatten、dense 与 softmax。注意与其它 CNN 不同此模块的get_net签名中image_shape与dtype无默认值需显式传入。5.5squeezenetFire 模块与 1.0/1.1 双版本python/tvm/relay/testing/squeezenet.py 以 Fire 模块squeeze 1×1 并行 expand 1×1/3×3为基础。get_net(batch_size, image_shape, num_classes, version, dtype)中version1.0首层 96 通道 7×7 卷积fire1-fire8 采用(16,64,64)/(32,128,128)/(48,192,192)/(64,256,256)通道组合version1.1首层 64 通道 3×3 卷积squeeze 通道保持 16/32/48/64 且在第 2、4、6 个 fire 后插入 max-pool二者都会校验版本值非法值直接AssertionError尾部统一为dropout(0.5) → 1×1 conv(num_classes) → relu → global_avg_pool2d → flatten → softmax。get_workload(batch_size1, num_classes1000, version1.0, image_shape(3,224,224), dtypefloat32)。5.6vgg11/13/16/19 层规格表驱动python/tvm/relay/testing/vgg.py 内置规格表vgg_spec { 11: ([1, 1, 2, 2, 2], [64, 128, 256, 512, 512]), 13: ([2, 2, 2, 2, 2], [64, 128, 256, 512, 512]), 16: ([2, 2, 3, 3, 3], [64, 128, 256, 512, 512]), 19: ([2, 2, 4, 4, 4], [64, 128, 256, 512, 512]), }get_feature逐 stage 堆叠 3×3 卷积 ReLU可选 BN 2×2 max-poolget_classifier为flatten → fc6(4096) → relu → dropout(0.5) → fc7(4096) → relu → dropout(0.5) → fc8(num_classes)。get_net(batch_size, image_shape, num_classes, dtype, num_layers11, batch_normFalse)层数非法时报ValueErrorget_workload需显式传batch_size。5.7densenet密集连接块 过渡层python/tvm/relay/testing/densenet.py 实现 DenseNet_make_dense_layerBN→ReLU→1×1 Convbn_size * growth_rate通道→BN→ReLU→3×3 Convgrowth_rate通道_make_dense_block堆叠多个 dense layer 后沿通道维concatenate_make_transition1×1 卷积减半通道 2×2 平均池化_make_dense_net(num_init_features, growth_rate, block_config, data_shape, data_dtype, bn_size4, classes1000)7×7 卷积 3×3 maxpool 起步按block_config循环构建最后一个 block 之后是 7×7 平均池化 flatten dense。get_workload(densenet_size121, classes1000, batch_size4, image_shape(3,224,224), dtypefloat32)注意其默认batch_size4与其余模型默认 1 不同。densenet_size会换算为对应的 growth_rate 与 block_config常见为 121/161/169/201。六、生成式与序列模型DCGAN 生成器与 LSTM6.1dcgan仅支持 64×64 输出的反卷积生成器python/tvm/relay/testing/dcgan.py 基于 Radford 等的 DCGAN 论文实现生成器网络输入(batch_size, random_len)的随机噪声random_len默认 100主干dense 到4*4*ngf*8通道 → reshape 到 4×4 特征图 → 依次经过deconv2d_bn_relu4×4 核、stride 2带 BNReLU把分辨率逐级放大到 8×8 → 16×16 → 32×32 → 64×64最后deconv2dtanh输出deconv2d内部按目标形状自动推导output_paddingadj_y/adj_x保证输出尺寸精确匹配前置断言oshape[-1] 64 and oshape[-2] 64只支持 64×64 输出。get_workload(batch_size, oshape(3,64,64), ngf128, random_len100, layoutNCHW, dtypefloat32)。6.2lstmScopeBuilder 构建的 LSTM Cell 与展开 RNNpython/tvm/relay/testing/lstm.py 提供lstm_cell(num_hidden, batch_size1, dtypefloat32, name)用relay.ScopeBuilder构造单步 cell。输入为(inputs, states, i2h_weight, i2h_bias, h2h_weight, h2h_bias)其中states是(h, c)二元组内部计算i2h dense(inputs)、h2h dense(h)、gates i2h h2h对 4 份num_hidden宽的输出用relay.split(..., 4)切成输入门/遗忘门/候选/输出门更新next_c与next_h最终返回(next_h, (next_h, next_c))get_net(iterations, num_hidden, batch_size1, dtypefloat32)把iterations个 LSTM cell 顺序展开unroll每个时间步使用独立的i2h_{i}_weight等权重变量get_workload(iterations, num_hidden, batch_size1, dtypefloat32)同样参数返回(mod, params)。这个模块是理解 Relay 中元组类型、ScopeBuilder 显式 let 绑定、split/astuple 组合的极佳教学样例。七、在仓库测试与工具链中的真实落地tvm.relay.testing并非孤立代码仓库中大量测试与上层工具直接依赖它AutoTVM 图调优tests/python/autotvm/test_autotvm_graph_tuner_core.py 中多处使用relay.testing.create_workload(net)把自建网络转为带参数的模块再交给图调优器梯度校验链路tests/python/relay/dyn/test_dynamic_op_level3.py 用check_grad(run_infer_type(func), inputs[...], eps1e-3)验证动态算子的反向传播正确性AOT / CRT 集成tests/python/relay/aot/test_crt_aot.py 使用tvm.relay.testing.byocBYOC 编译注解工具构造自定义代码生成场景算子属性测试tests/python/relay/test_pass_legalize.py 借助TempOpAttr临时覆盖算子属性以驱动 pass 行为Ethos-U 系列测试tests/python/contrib/test_ethosu 多个用例从tvm.relay.testing导入run_opt_pass对模型做 pass 预处理后验证硬件相关改写。这证明tvm.relay.testing实际承担了模型仓库 测试夹具 基准数据源三重角色既服务于tests/python下数千个用例也为 apps/benchmark 等上层基准脚本提供统一的网络构造入口。八、快速上手一份可直接运行的基准脚本骨架综合上述 API一个典型的 benchmark 使用方式如下以 MobileNet 为例from tvm import relay from tvm.relay.testing import mobilenet # 1. 构造 workload获得带 Xavier 初始化权重的 IRModule 与参数 mod, params mobilenet.get_workload(batch_size1, num_classes1000) # 2. 查看图结构与算子统计 expr mod[main] print(expr) # Relay 图文本表示 # 3. 类型推断与 pass 处理 from tvm.relay.testing import run_opt_pass typed run_opt_pass(expr, relay.transform.InferType()) # 4. 编译到目标后端 target llvm with tvm.transform.PassContext(opt_level3): lib relay.build(mod, targettarget, paramsparams)若需要自建网络并接入同一套工具只需按get_net的模式返回relay.Function再调用relay.testing.create_workload(net)即可无缝获得(mod, params)。九、小结一句话定位tvm.relay.testing是 TVM Relay 的模型库 测试工具包以get_workload()家族提供十余种经典网络的可编译(IRModule, params)以create_workload/Xavier提供统一参数初始化以run_opt_pass/run_infer_type/check_grad提供 Pass 测试与数值梯度校验基建。易踩的坑check_grad对低精度输入敏感、inception_v3.get_net参数无默认值、densenet.get_workload默认 batch_size4、dcgan仅支持 64×64、resnet的层数/图像高度存在严格组合校验——实际使用前建议核对各模块的 docstring。延伸阅读所有 API 的权威签名与说明见 docs/reference/api/python/relay/testing.rst对应实现可直查 python/tvm/relay/testing 目录下的同名模块文件。赞分享编译器深度学习模型优化【免费下载链接】tvmOpen deep learning compiler stack for cpu, gpu and specialized accelerators项目地址https://gitcode.com/gh_mirrors/tvm7/tvm点击查看免费下载相关推荐终极指南如何使用图神经网络基准测试工具评估GNN性能终极指南如何使用图神经网络基准测试工具评估GNN性能 图神经网络GNN已成为处理图结构数据的强大工具但选择合适的GNN模型和参数配置常常让研究者和开发者MXNet Python 测试工具库 mxnet.test_utils 完全指南数值校验、梯度验证与测试数据生成MXNet Python 测试工具库 mxnet.test_utils 完全指南数值校验、梯度验证与测试数据生成 导读 mxnet.test_utils 是人工智能深度学习机器学习2025年最全面的网络基准测试工具深度解析ECSSpeed如何解决跨国网络测速痛点2025年最全面的网络基准测试工具深度解析ECSSpeed如何解决跨国网络测速痛点 你是否还在为选择合适的网络测试工具而烦恼面对复杂的服务器节点配置、频繁的创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考