嵌入式AI部署---基于RK3588运行yolov5（2）

前言在上篇博客中撰写了关于yolov5在RK3588上运行的流程 在学习的过程中发现后处理很难我一直不理解输出结果是如何存储的它比较抽象对于我来讲很难理解经过一段时间的学习有了一个比较好的理解思路。1. 后处理的传参在rknn_outputs_get中获得了NPU推理后的处理结果这个结果有三个输出结果outputs[i].buf作为后处理的输入部分对应模型三个尺度的输出张量。rknn_outputs_get(ctx,outputs_num,outputs,NULL);post_process((int8_t*)outputs[0].buf,(int8_t*)outputs[1].buf(int8_t*)outputs[2].buf,....)这里的outputs是三个检测头的输出特征图YOLOv5采用多尺度检测三个输出头对应不同下采样步长这里输出有三个不同类型是因为有不同的检测目标输出头步长网格大小锚框尺寸检测目标output0880×80[10,13], [16,30], [33,23]小目标output11640×40[30,61], [62,45], [59,119]中目标output23220×20[116,90], [156,198], [373,326]大目标下面我们对于这个输出的结果进行理解有助于理解后续后处理code的编写2. 数据格式数据类型int8_t量化后的 8 位整数内存布局NCHW 或 NHWC取决于模型导出时的配置此处代码按NCHW处理每个输出是一个4 维张量形状为[batch图片数量, channels通道, grid_h特征图高度, grid_w特征图宽度]batch1例如output0[1, 255, 80, 80]stride8output1[1, 255, 40, 40]stride16output2[1, 255, 20, 20]stride32其中255 3 × (80 5)3每个网格预测 3 个锚框anchor0/1/280COCO 数据集的 80 个类别概率5x, y, w, h, objectness框坐标和置信度3. 数据内容每个网格的每个锚框对应一组长度为 85 的数据排列顺序通常是[x, y, w, h, obj_conf是否存在目标, cls0_prob第1个类, cls1_prob(第2个类), ..., cls79_prob(第80个类)]在这里你还是不知道如何存储的话听我下面的讲解4. 数据的立体讲解-----最重要理解方式想象一个三维立方体三个维度分别是通道 C0 ~ 254共 255 层高度 H0 ~ 79共 80 行宽度 W0 ~ 79共 80 列也就是说我们对立方体横向砍一刀得到一个横截面它的宽和高是H和W立方体的高是对应着通道C 我们可以将高度和C一一对应它一共有255层对应255个通道数**255个通道数如何排列**如下图所示[ x, y, w, h, obj_conf, cls0_prob, cls1_prob, ..., cls79_prob ]上面总计85个这个立方体有85*3 255,为什么有要× 3 有3个锚框那么锚框0对应通道0-84锚框1对应通道85-169锚框2对应通道170-254在这里插入图片描述5. 如何理解内存中的存储以output0[1, 255, 80, 80]stride8这个为例子特征图的宽和高为80×80 则x、y、w、h、c 将会分别占用6400的存储单元x占6400个y占6400个w占6400个…从立方体的从上往下看先对应的是x,后对应的是yw等那么存储的时候先在内存中存放6400个x 后存6400个y, 再就是6400个w依次存完。由于有三个锚框先存完「第 1 个锚框」的全部数据X/Y/W/H/C/80 个类再接着存「第 2 个锚框」的全部数据最后存「第 3 个锚框」的全部数据。单个锚框存储的总单元基础 5 参数X(6400) Y(6400) W(6400) H(6400) C(6400) 5×640080 个类别80×6400单个锚框总长度(580)×6400 85×6400 5440003个锚框5 80 * 3 * 6400 1,632,000内存地址低 → 高 ┌──────────────────────┐ │ 通道 0 (x_a0) │ 6400 个 int8 │ 通道 1 (y_a0) │ 6400 个 int8 │ 通道 2 (w_a0) │ 6400 个 int8 │ 通道 3 (h_a0) │ 6400 个 int8 │ 通道 4 (obj_a0) │ 6400 个 int8 │ 通道 5 (cls0_a0) │ 6400 个 int8 │ ... │ │ 通道 84 (cls79_a0) │ 6400 个 int8 ├──────────────────────┤ │ 通道 85 (x_a1) │ 6400 个 int8 │ ... │ │ 通道 169 (cls79_a1) │ 6400 个 int8 ├──────────────────────┤ │ 通道 170 (x_a2) │ 6400 个 int8 │ ... │ │ 通道 254 (cls79_a2) │ 6400 个 int8 └──────────────────────┘ 总大小 255 × 6400 1,632,000 个 int8总结相对来说比较清晰了吧后面再告诉如何写后处理部分的code如何找到对应的数据