机器视觉质检这件事外行看热闹内行看门道。很多人以为把相机架到产线上、跑个开源模型就能把缺陷检出来实际干过的都知道从打光到标定、从算法选型到节拍优化每一步都藏着能让项目翻车的细节。我前后参与过几个工业质检方向的落地项目从3C结构件的外观检测到金属件的表面缺陷识别踩过的坑比跑通的流程还多。这篇就围绕开源机器视觉质检系统这个主题把高精度算法平台从搭建到调优的完整链路拆开讲既讲清楚为什么这么设计也给出可以直接抄的配置和代码。不管你是刚入行的机器视觉应用工程师还是想从传统视觉往深度学习质检转型的老手都能从里面找到能用的东西。1. 工业质检到底难在哪先搞清楚问题边界1.1 工业级高精度和实验室demo的本质差距实验室里跑一个缺陷检测模型准确率95%就能发论文了。但产线上要求的是什么漏检率低于千分之一过杀率控制在百分之二以内单件检测节拍压到300毫秒以下还要能7乘24小时稳定运行。这几个指标往那一摆你就知道为什么很多开源项目跑得通却用不了。差距的核心在于三点。第一是数据分布实验室数据集是精心挑选的产线上的图像会随着光源老化、镜头积灰、工件批次变化而漂移今天训好的模型下个月可能就崩了。第二是实时性约束工业节拍不等人一个工位几百毫秒的窗口模型推理、图像预处理、通信全得塞进去。第三是可解释性和可追溯出了漏检要能回溯是哪张图、哪个参数、哪个模型版本导致的这在汽车、医疗、航空这些行业是硬性要求。所以一个真正能用的开源质检系统不能只是一个模型仓库它得是一整套包含图像采集、预处理、推理、后处理、结果管理、模型迭代的工程化平台。这也是我在选型时最看重的一点框架的工程完整度比模型精度更重要。1.2 高精度质检的典型场景拆解不同行业的质检需求差异极大选算法之前先得把场景摸清楚。我把它归成几类方便你对号入座。场景类型典型缺陷精度要求节拍要求推荐方案方向表面外观检测划痕、脏污、色差亚像素级中高速传统视觉加深度学习融合尺寸测量长度、孔径、位置度微米级高速亚像素边缘加标定装配完整性缺件、错装、反装分类准确率高速分类网络加规则校验内部缺陷气孔、裂纹、夹杂高召回中速深度学习分割字符识别OCR、条码、二维码高准确率高速专用OCR加传统解码拿表面外观检测来说划痕这种缺陷宽度可能只有几个像素对比度还低传统阈值分割经常断断续续深度学习分割又容易把正常纹理误判成缺陷。我的经验是先用传统方法做粗定位把疑似区域抠出来再送进轻量分割网络做精细判别这样既保证了精度又控制了算力。1.3 为什么选择开源方案而不是商业软件商业视觉软件一套授权动辄几十万而且算法是黑盒你想针对自己的缺陷类型做定制几乎不可能。开源方案的优势在于可定制、可审计、可私有化部署尤其是涉及产线数据不能出厂的场景开源是唯一选择。但开源也有代价你得自己搭环境、自己调参、自己维护。所以选开源项目时我一般看三个维度——社区活跃度issue响应速度、文档完整度有没有从零到跑通的教程、架构可扩展性能不能方便地接入自己的相机和算法。这三点比模型在公开数据集上高几个点重要得多。2. 平台架构怎么搭从相机到结果的完整链路2.1 整体架构分层设计一个能落地的质检系统我习惯把它分成五层每层职责清晰方便替换和调试。采集层负责相机触发、图像获取、光源同步。工业相机一般走GigE或USB3.0触发方式分软触发和硬触发产线上强烈建议用硬触发软触发的抖动在高速场景下是致命的。预处理层去噪、畸变校正、ROI裁剪、图像增强。这一步做得好后面算法压力能减一半。算法层传统视觉算子加深度学习模型负责缺陷检测、分类、分割、测量。决策层把算法输出转成OK/NG判定做多模型投票、规则校验、置信度过滤。管理层结果存储、图像归档、模型版本管理、报警推送、统计报表。这套分层的好处是换相机只动采集层换模型只动算法层互不影响。我见过太多项目把所有逻辑揉在一个脚本里后期维护简直是灾难。2.2 相机选型与标定精度从源头抓起相机选型直接决定精度上限。核心公式是精度 视野范围 / 像素数。比如你要检测0.05毫米的缺陷视野是100毫米那至少需要2000像素考虑亚像素算法能到0.1像素实际选500万像素约2500乘2000比较稳妥。镜头选型要注意畸变远心镜头在精密测量场景几乎是标配虽然贵但能消除透视误差。标定环节我推荐用棋盘格或圆点标定板OpenCV的calibrateCamera就能做标定后重投影误差控制在0.1像素以内才算合格。import cv2 import numpy as np # 棋盘格标定示例 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) objp np.zeros((6*9, 3), np.float32) objp[:, :2] np.mgrid[0:9, 0:6].T.reshape(-1, 2) objpoints, imgpoints [], [] for fname in image_list: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, (9, 6), None) if ret: corners2 cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) objpoints.append(objp) imgpoints.append(corners2) ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None) print(f重投影误差: {ret:.4f})注意标定板一定要在相机整个视野内多角度拍摄至少15张覆盖边缘区域。只在中心拍几张边缘畸变校正会不准。2.3 打光方案被低估的成败关键我敢说质检项目80%的失败源于打光没做好。算法再强图像本身对比度不够神仙也救不回来。常见打光方式有几种环形光通用性强适合平面字符和一般外观。同轴光适合高反光表面的划痕检测光线垂直入射划痕会呈现暗线。背光适合轮廓和尺寸测量能拿到清晰的边缘。条形光适合圆柱面或需要方向性照明的场景。穹顶光适合曲面和反光件的均匀照明。我的经验是先用可调光源做打光实验把缺陷对比度调到最高再定方案别急着写代码。有时候换个打光角度原本需要深度学习才能检的缺陷传统阈值就能搞定。2.4 通信与触发和PLC对接的那些细节产线上质检系统要和PLC、机械手通信常用协议有Modbus TCP、Profinet、EtherNet/IP。触发信号一般用IO硬触发相机收到上升沿后曝光采集。这里有个坑触发延迟和曝光时间要算进节拍如果相机触发到出图要50毫秒推理要200毫秒那总节拍就是250毫秒起步超过工位窗口就得考虑多相机并行或降分辨率。通信代码用Python的话pymodbus或snap7都能用关键是做好异常处理和超时重连产线网络抖动是常态。3. 算法选型传统视觉和深度学习的取舍3.1 什么时候用传统视觉什么时候上深度学习这是每个质检项目都要面对的问题。我的判断标准很简单缺陷有明确数学特征边缘、灰度突变、几何形状→ 传统视觉快且可解释。缺陷形态多变、纹理复杂、对比度低→ 深度学习。两者都有→ 融合方案传统做粗筛深度学习做精判。传统视觉的算子库OpenCV基本够用边缘检测用Canny亚像素边缘用cornerSubPix或findContours加拟合模板匹配用matchTemplate。这些算子速度快单张图几毫秒就能出结果适合高速场景。深度学习这边检测用YOLO系列分割用U-Net或DeepLab分类用ResNet或MobileNet。工业场景我更倾向轻量网络因为节拍卡得死ResNet50在CPU上跑一张要几百毫秒换成MobileNetV3能压到几十毫秒。3.2 亚像素精度是怎么实现的高精度测量场景像素级精度不够得上亚像素。原理是利用边缘附近的灰度梯度做插值找到梯度极值点的亚像素位置。常见方法有矩方法、插值法、拟合法。以拟合法为例对边缘附近的灰度剖面做高斯拟合拟合曲线的峰值位置就是亚像素边缘。OpenCV的cornerSubPix用的是迭代法能把角点定位到0.1像素以内。# 亚像素边缘定位示例 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) edges cv2.Canny(gray, 50, 150) contours, _ cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE) for cnt in contours: # 对轮廓点做亚像素精化 cnt_float cnt.astype(np.float32) # 用最小二乘拟合直线或圆得到亚像素参数 # 这里以直线拟合为例 vx, vy, x0, y0 cv2.fitLine(cnt_float, cv2.DIST_L2, 0, 0.01, 0.01) print(f直线方向: ({vx:.4f}, {vy:.4f}), 过点: ({x0:.2f}, {y0:.2f}))提示亚像素精度受图像信噪比影响很大预处理阶段的高斯滤波要适度滤太狠会把边缘梯度抹平反而降低精度。3.3 深度学习模型的轻量化与加速工业部署对推理速度要求苛刻模型轻量化是必修课。几条实用路径换轻量骨干MobileNet、ShuffleNet、EfficientNet-Lite。剪枝和量化把FP32量化成INT8速度能提升2到4倍精度损失通常1个点以内。推理引擎TensorRT、OpenVINO、ONNX Runtime比原生PyTorch快不少。输入分辨率在精度允许的前提下降低输入尺寸这是最直接的加速手段。我实测过一个分割模型输入从1024降到512推理时间从180毫秒降到45毫秒IoU只掉了1.5个点在过杀率可控的情况下完全值得。3.4 多模型融合与投票机制单一模型很难覆盖所有缺陷类型实际项目里我一般会部署多个模型用投票或加权融合做最终判定。比如一个分类模型判OK/NG一个分割模型定位缺陷区域一个传统算子做尺寸校验三者都通过才判OK。投票机制要注意置信度阈值的设置阈值太高漏检太低过杀。我的做法是用验证集画PR曲线找到漏检率和过杀率的平衡点再留一点余量应对数据漂移。4. 从零跑通一套开源质检系统4.1 环境搭建与依赖管理开源质检系统一般基于Python生态核心依赖包括OpenCV、PyTorch或ONNX Runtime、NumPy、Flask做Web界面。环境管理强烈建议用conda或venv别用系统Python依赖冲突能让你怀疑人生。# 创建虚拟环境 conda create -n qc_system python3.10 conda activate qc_system # 安装核心依赖 pip install opencv-python4.8.0 pip install torch2.1.0 torchvision0.16.0 pip install onnxruntime-gpu1.16.0 pip install flask3.0.0 pip install numpy1.24.0注意CUDA版本要和PyTorch、ONNX Runtime匹配装之前先nvidia-smi看驱动支持的CUDA版本版本不匹配会报各种莫名其妙的错。4.2 图像采集模块的实现采集模块要处理相机连接、参数设置、触发、取图、异常重连。以GigE相机为例用厂商SDK或通用GenICam接口都行。下面是一个简化的采集循环框架import cv2 import time class CameraCapture: def __init__(self, camera_id0, width2448, height2048): self.cap cv2.VideoCapture(camera_id) self.cap.set(cv2.CAP_PROP_FRAME_WIDTH, width) self.cap.set(cv2.CAP_PROP_FRAME_HEIGHT, height) self.cap.set(cv2.CAP_PROP_FPS, 30) def grab(self): ret, frame self.cap.read() if not ret: # 重连逻辑 self.cap.release() time.sleep(1) self.cap cv2.VideoCapture(0) return None return frame def release(self): self.cap.release()实际产线上硬触发模式下相机是被动出图的代码里要改成回调或轮询SDK的缓冲区。这块不同品牌差异大得对着SDK文档写。4.3 预处理流水线的搭建预处理做得好算法事半功倍。我一般按这个顺序组织流水线畸变校正用标定参数做undistort。ROI裁剪只保留检测区域减少计算量。去噪高斯或中值滤波看噪声类型选。增强直方图均衡或CLAHE提升对比度。归一化深度学习输入前做均值和方差归一化。def preprocess(img, mtx, dist, roi): # 畸变校正 undist cv2.undistort(img, mtx, dist) # ROI裁剪 x, y, w, h roi cropped undist[y:yh, x:xw] # CLAHE增强 lab cv2.cvtColor(cropped, cv2.COLOR_BGR2LAB) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) lab[:, :, 0] clahe.apply(lab[:, :, 0]) enhanced cv2.cvtColor(lab, cv2.COLOR_LAB2BGR) return enhanced提示CLAHE的clipLimit别设太高否则噪声也会被放大一般2.0到3.0比较合适。4.4 推理与后处理的衔接推理输出的是原始张量要转成业务能用的结果中间的后处理很关键。检测模型要做NMS、置信度过滤、坐标还原分割模型要做阈值化、连通域分析、面积过滤分类模型要做softmax和阈值判定。def postprocess_detection(outputs, conf_thres0.5, iou_thres0.45): boxes, scores, class_ids [], [], [] for out in outputs: # 解析输出过滤低置信度 mask out[:, 4] conf_thres out out[mask] # NMS keep nms(out[:, :4], out[:, 4], iou_thres) for k in keep: boxes.append(out[k, :4]) scores.append(out[k, 4]) class_ids.append(out[k, 5]) return boxes, scores, class_ids后处理里最容易出问题的是坐标还原如果预处理做了缩放或裁剪后处理必须反向映射回原图坐标否则定位全错。5. 精度调优把漏检和过杀压下去5.1 数据增强与样本均衡工业质检最大的痛点是缺陷样本少正常样本一大堆缺陷可能就几十张。这种不均衡数据直接训模型模型会倾向于全判OK漏检率爆表。解决办法有几个一是数据增强旋转、翻转、亮度扰动、加噪声、Cutout、MixUp能把几十张扩到几千张。二是过采样缺陷样本重复采样。三是损失函数加权给缺陷类更高的权重Focal Loss就是干这个的。import albumentations as A transform A.Compose([ A.RandomRotate90(), A.HorizontalFlip(), A.VerticalFlip(), A.RandomBrightnessContrast(brightness_limit0.2, contrast_limit0.2), A.GaussNoise(var_limit(10.0, 50.0)), A.Cutout(num_holes8, max_h_size32, max_w_size32), ])注意增强要符合实际场景比如缺陷不会倒着出现那垂直翻转就不合理。增强策略错了模型学到的特征是错的。5.2 阈值调优与PR曲线分析模型输出的是概率判定OK/NG靠阈值。阈值定高了漏检定低了过杀。正确做法是在验证集上画PR曲线找到满足业务要求的平衡点。假设业务要求漏检率低于0.1%过杀率低于2%那就在PR曲线上找召回率99.9%对应的阈值再看此时的精确率是否满足过杀要求。如果满足不了说明模型能力不够得回去优化模型或数据。阈值召回率精确率漏检率过杀率0.399.95%92%0.05%8%0.599.8%96%0.2%4%0.799.0%98.5%1.0%1.5%从表里能看出阈值和漏检、过杀是此消彼长的关系没有完美解只能找业务能接受的平衡点。5.3 模型迭代与数据回流产线跑起来后模型会随着时间退化因为工件批次、光源状态都在变。所以数据回流机制是必须的把产线上判定为NG的图、人工复检的图、置信度处于临界区的图自动归档定期人工标注后加入训练集重新训练模型。我一般设两个触发条件一是累计新增标注样本超过500张二是连续一周过杀率或漏检率超过阈值。满足任一条件就启动迭代。5.4 常见误检的排查思路误检排查我总结了一套流程按这个顺序走基本能定位问题看误检图是图像质量问题还是算法问题图像模糊、过曝、欠曝先解决打光和相机。看特征分布误检样本的特征和正常样本有没有重叠重叠说明特征区分度不够得换特征或加数据。看模型输出置信度分布如何如果误检样本置信度普遍偏低调阈值能缓解如果偏高说明模型真的学错了。看数据标注标注有没有错我见过标注员把正常纹理标成缺陷的模型学出来全是误检。提示排查误检一定要有图像和结果的对应记录没有记录就只能靠猜效率极低。6. 部署上线从实验室到产线的最后一公里6.1 边缘部署与算力规划产线工位一般用工控机或边缘计算盒子算力规划要看模型大小和节拍要求。我的经验值轻量分类模型CPU就能跑检测和分割模型建议上GPU入门级用GTX 1650或RTX A2000多相机高节拍场景上RTX 4090或A5000。算力估算公式所需算力 单帧推理时间 × 相机数量 × 帧率。比如单帧200毫秒4个相机每秒5帧那需要4×520路并行推理单卡扛不住就得多卡或降分辨率。6.2 系统稳定性与异常处理产线系统最怕的是跑着跑着崩了。稳定性设计要做几件事看门狗主进程挂掉自动重启。心跳检测和PLC定期通信超时报警。日志分级DEBUG、INFO、WARN、ERROR分开记录方便排查。资源监控CPU、内存、GPU显存超阈值报警。降级策略模型推理超时或失败时切到备用规则或直接报警停机。import logging from logging.handlers import RotatingFileHandler logger logging.getLogger(qc_system) logger.setLevel(logging.INFO) handler RotatingFileHandler(qc.log, maxBytes10*1024*1024, backupCount5) formatter logging.Formatter(%(asctime)s - %(levelname)s - %(message)s) handler.setFormatter(formatter) logger.addHandler(handler)6.3 结果可视化与追溯质检结果要能可视化操作员一眼看出哪里NG工程师能追溯历史数据。Web界面用Flask加前端框架就能搭展示实时图像、判定结果、缺陷位置标注、统计报表。追溯这块我建议每张图都存原图加结果JSON存的时候按日期和批次分目录数据库存索引。这样出问题能快速定位也方便后续做数据回流。6.4 产线联调的经验教训联调阶段是最容易出问题的我踩过的坑包括触发信号抖动导致重复取图、通信超时导致判定丢失、光源和相机不同步导致图像忽明忽暗、工控机散热不够导致GPU降频。我的建议是联调前先做单模块测试相机单独测、算法单独测、通信单独测都通过了再联调。联调时用示波器看触发信号用日志记录每个环节的耗时把节拍拆开分析哪里慢优化哪里。7. 一些掏心窝子的实操心得做质检这几年最大的体会是别迷信算法先把图像搞定。我见过太多团队一上来就调模型结果打光一塌糊涂图像本身就看不清缺陷模型再强也没用。花两天时间做打光实验比花两周调模型收益大得多。第二个体会是数据比模型重要。同样的网络结构数据标注质量高、覆盖场景全效果能差出十几个点。标注规范要提前定好缺陷边界怎么画、模糊样本怎么处理、临界样本怎么判这些都要和产线品质部门对齐别自己拍脑袋。第三个是留余量。节拍别卡太死留20%余量应对波动精度别卡太极限留一点容错空间算力别用满留点余量给后续加模型。产线环境比实验室恶劣得多余量就是稳定性。最后说个具体的技巧模型上线前一定要做小批量试跑别直接全量上线。先跑一周收集误检漏检数据调优后再全量推。我见过直接全量上线结果漏检一批货被客户投诉的返工成本远高于试跑成本。这套开源质检系统的搭建和调优链路核心就是把工程化做扎实把每个环节的细节抠到位。算法只是其中一环采集、打光、预处理、后处理、部署、迭代每一环都能决定项目成败。希望这些经验能帮你少走点弯路把质检系统真正跑稳在产线上。 开源机器视觉质检系统：高精度算法平台搭建与调优实战
机器视觉质检这件事外行看热闹内行看门道。很多人以为把相机架到产线上、跑个开源模型就能把缺陷检出来实际干过的都知道从打光到标定、从算法选型到节拍优化每一步都藏着能让项目翻车的细节。我前后参与过几个工业质检方向的落地项目从3C结构件的外观检测到金属件的表面缺陷识别踩过的坑比跑通的流程还多。这篇就围绕开源机器视觉质检系统这个主题把高精度算法平台从搭建到调优的完整链路拆开讲既讲清楚为什么这么设计也给出可以直接抄的配置和代码。不管你是刚入行的机器视觉应用工程师还是想从传统视觉往深度学习质检转型的老手都能从里面找到能用的东西。1. 工业质检到底难在哪先搞清楚问题边界1.1 工业级高精度和实验室demo的本质差距实验室里跑一个缺陷检测模型准确率95%就能发论文了。但产线上要求的是什么漏检率低于千分之一过杀率控制在百分之二以内单件检测节拍压到300毫秒以下还要能7乘24小时稳定运行。这几个指标往那一摆你就知道为什么很多开源项目跑得通却用不了。差距的核心在于三点。第一是数据分布实验室数据集是精心挑选的产线上的图像会随着光源老化、镜头积灰、工件批次变化而漂移今天训好的模型下个月可能就崩了。第二是实时性约束工业节拍不等人一个工位几百毫秒的窗口模型推理、图像预处理、通信全得塞进去。第三是可解释性和可追溯出了漏检要能回溯是哪张图、哪个参数、哪个模型版本导致的这在汽车、医疗、航空这些行业是硬性要求。所以一个真正能用的开源质检系统不能只是一个模型仓库它得是一整套包含图像采集、预处理、推理、后处理、结果管理、模型迭代的工程化平台。这也是我在选型时最看重的一点框架的工程完整度比模型精度更重要。1.2 高精度质检的典型场景拆解不同行业的质检需求差异极大选算法之前先得把场景摸清楚。我把它归成几类方便你对号入座。场景类型典型缺陷精度要求节拍要求推荐方案方向表面外观检测划痕、脏污、色差亚像素级中高速传统视觉加深度学习融合尺寸测量长度、孔径、位置度微米级高速亚像素边缘加标定装配完整性缺件、错装、反装分类准确率高速分类网络加规则校验内部缺陷气孔、裂纹、夹杂高召回中速深度学习分割字符识别OCR、条码、二维码高准确率高速专用OCR加传统解码拿表面外观检测来说划痕这种缺陷宽度可能只有几个像素对比度还低传统阈值分割经常断断续续深度学习分割又容易把正常纹理误判成缺陷。我的经验是先用传统方法做粗定位把疑似区域抠出来再送进轻量分割网络做精细判别这样既保证了精度又控制了算力。1.3 为什么选择开源方案而不是商业软件商业视觉软件一套授权动辄几十万而且算法是黑盒你想针对自己的缺陷类型做定制几乎不可能。开源方案的优势在于可定制、可审计、可私有化部署尤其是涉及产线数据不能出厂的场景开源是唯一选择。但开源也有代价你得自己搭环境、自己调参、自己维护。所以选开源项目时我一般看三个维度——社区活跃度issue响应速度、文档完整度有没有从零到跑通的教程、架构可扩展性能不能方便地接入自己的相机和算法。这三点比模型在公开数据集上高几个点重要得多。2. 平台架构怎么搭从相机到结果的完整链路2.1 整体架构分层设计一个能落地的质检系统我习惯把它分成五层每层职责清晰方便替换和调试。采集层负责相机触发、图像获取、光源同步。工业相机一般走GigE或USB3.0触发方式分软触发和硬触发产线上强烈建议用硬触发软触发的抖动在高速场景下是致命的。预处理层去噪、畸变校正、ROI裁剪、图像增强。这一步做得好后面算法压力能减一半。算法层传统视觉算子加深度学习模型负责缺陷检测、分类、分割、测量。决策层把算法输出转成OK/NG判定做多模型投票、规则校验、置信度过滤。管理层结果存储、图像归档、模型版本管理、报警推送、统计报表。这套分层的好处是换相机只动采集层换模型只动算法层互不影响。我见过太多项目把所有逻辑揉在一个脚本里后期维护简直是灾难。2.2 相机选型与标定精度从源头抓起相机选型直接决定精度上限。核心公式是精度 视野范围 / 像素数。比如你要检测0.05毫米的缺陷视野是100毫米那至少需要2000像素考虑亚像素算法能到0.1像素实际选500万像素约2500乘2000比较稳妥。镜头选型要注意畸变远心镜头在精密测量场景几乎是标配虽然贵但能消除透视误差。标定环节我推荐用棋盘格或圆点标定板OpenCV的calibrateCamera就能做标定后重投影误差控制在0.1像素以内才算合格。import cv2 import numpy as np # 棋盘格标定示例 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) objp np.zeros((6*9, 3), np.float32) objp[:, :2] np.mgrid[0:9, 0:6].T.reshape(-1, 2) objpoints, imgpoints [], [] for fname in image_list: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, (9, 6), None) if ret: corners2 cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) objpoints.append(objp) imgpoints.append(corners2) ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None) print(f重投影误差: {ret:.4f})注意标定板一定要在相机整个视野内多角度拍摄至少15张覆盖边缘区域。只在中心拍几张边缘畸变校正会不准。2.3 打光方案被低估的成败关键我敢说质检项目80%的失败源于打光没做好。算法再强图像本身对比度不够神仙也救不回来。常见打光方式有几种环形光通用性强适合平面字符和一般外观。同轴光适合高反光表面的划痕检测光线垂直入射划痕会呈现暗线。背光适合轮廓和尺寸测量能拿到清晰的边缘。条形光适合圆柱面或需要方向性照明的场景。穹顶光适合曲面和反光件的均匀照明。我的经验是先用可调光源做打光实验把缺陷对比度调到最高再定方案别急着写代码。有时候换个打光角度原本需要深度学习才能检的缺陷传统阈值就能搞定。2.4 通信与触发和PLC对接的那些细节产线上质检系统要和PLC、机械手通信常用协议有Modbus TCP、Profinet、EtherNet/IP。触发信号一般用IO硬触发相机收到上升沿后曝光采集。这里有个坑触发延迟和曝光时间要算进节拍如果相机触发到出图要50毫秒推理要200毫秒那总节拍就是250毫秒起步超过工位窗口就得考虑多相机并行或降分辨率。通信代码用Python的话pymodbus或snap7都能用关键是做好异常处理和超时重连产线网络抖动是常态。3. 算法选型传统视觉和深度学习的取舍3.1 什么时候用传统视觉什么时候上深度学习这是每个质检项目都要面对的问题。我的判断标准很简单缺陷有明确数学特征边缘、灰度突变、几何形状→ 传统视觉快且可解释。缺陷形态多变、纹理复杂、对比度低→ 深度学习。两者都有→ 融合方案传统做粗筛深度学习做精判。传统视觉的算子库OpenCV基本够用边缘检测用Canny亚像素边缘用cornerSubPix或findContours加拟合模板匹配用matchTemplate。这些算子速度快单张图几毫秒就能出结果适合高速场景。深度学习这边检测用YOLO系列分割用U-Net或DeepLab分类用ResNet或MobileNet。工业场景我更倾向轻量网络因为节拍卡得死ResNet50在CPU上跑一张要几百毫秒换成MobileNetV3能压到几十毫秒。3.2 亚像素精度是怎么实现的高精度测量场景像素级精度不够得上亚像素。原理是利用边缘附近的灰度梯度做插值找到梯度极值点的亚像素位置。常见方法有矩方法、插值法、拟合法。以拟合法为例对边缘附近的灰度剖面做高斯拟合拟合曲线的峰值位置就是亚像素边缘。OpenCV的cornerSubPix用的是迭代法能把角点定位到0.1像素以内。# 亚像素边缘定位示例 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) edges cv2.Canny(gray, 50, 150) contours, _ cv2.findContours(edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE) for cnt in contours: # 对轮廓点做亚像素精化 cnt_float cnt.astype(np.float32) # 用最小二乘拟合直线或圆得到亚像素参数 # 这里以直线拟合为例 vx, vy, x0, y0 cv2.fitLine(cnt_float, cv2.DIST_L2, 0, 0.01, 0.01) print(f直线方向: ({vx:.4f}, {vy:.4f}), 过点: ({x0:.2f}, {y0:.2f}))提示亚像素精度受图像信噪比影响很大预处理阶段的高斯滤波要适度滤太狠会把边缘梯度抹平反而降低精度。3.3 深度学习模型的轻量化与加速工业部署对推理速度要求苛刻模型轻量化是必修课。几条实用路径换轻量骨干MobileNet、ShuffleNet、EfficientNet-Lite。剪枝和量化把FP32量化成INT8速度能提升2到4倍精度损失通常1个点以内。推理引擎TensorRT、OpenVINO、ONNX Runtime比原生PyTorch快不少。输入分辨率在精度允许的前提下降低输入尺寸这是最直接的加速手段。我实测过一个分割模型输入从1024降到512推理时间从180毫秒降到45毫秒IoU只掉了1.5个点在过杀率可控的情况下完全值得。3.4 多模型融合与投票机制单一模型很难覆盖所有缺陷类型实际项目里我一般会部署多个模型用投票或加权融合做最终判定。比如一个分类模型判OK/NG一个分割模型定位缺陷区域一个传统算子做尺寸校验三者都通过才判OK。投票机制要注意置信度阈值的设置阈值太高漏检太低过杀。我的做法是用验证集画PR曲线找到漏检率和过杀率的平衡点再留一点余量应对数据漂移。4. 从零跑通一套开源质检系统4.1 环境搭建与依赖管理开源质检系统一般基于Python生态核心依赖包括OpenCV、PyTorch或ONNX Runtime、NumPy、Flask做Web界面。环境管理强烈建议用conda或venv别用系统Python依赖冲突能让你怀疑人生。# 创建虚拟环境 conda create -n qc_system python3.10 conda activate qc_system # 安装核心依赖 pip install opencv-python4.8.0 pip install torch2.1.0 torchvision0.16.0 pip install onnxruntime-gpu1.16.0 pip install flask3.0.0 pip install numpy1.24.0注意CUDA版本要和PyTorch、ONNX Runtime匹配装之前先nvidia-smi看驱动支持的CUDA版本版本不匹配会报各种莫名其妙的错。4.2 图像采集模块的实现采集模块要处理相机连接、参数设置、触发、取图、异常重连。以GigE相机为例用厂商SDK或通用GenICam接口都行。下面是一个简化的采集循环框架import cv2 import time class CameraCapture: def __init__(self, camera_id0, width2448, height2048): self.cap cv2.VideoCapture(camera_id) self.cap.set(cv2.CAP_PROP_FRAME_WIDTH, width) self.cap.set(cv2.CAP_PROP_FRAME_HEIGHT, height) self.cap.set(cv2.CAP_PROP_FPS, 30) def grab(self): ret, frame self.cap.read() if not ret: # 重连逻辑 self.cap.release() time.sleep(1) self.cap cv2.VideoCapture(0) return None return frame def release(self): self.cap.release()实际产线上硬触发模式下相机是被动出图的代码里要改成回调或轮询SDK的缓冲区。这块不同品牌差异大得对着SDK文档写。4.3 预处理流水线的搭建预处理做得好算法事半功倍。我一般按这个顺序组织流水线畸变校正用标定参数做undistort。ROI裁剪只保留检测区域减少计算量。去噪高斯或中值滤波看噪声类型选。增强直方图均衡或CLAHE提升对比度。归一化深度学习输入前做均值和方差归一化。def preprocess(img, mtx, dist, roi): # 畸变校正 undist cv2.undistort(img, mtx, dist) # ROI裁剪 x, y, w, h roi cropped undist[y:yh, x:xw] # CLAHE增强 lab cv2.cvtColor(cropped, cv2.COLOR_BGR2LAB) clahe cv2.createCLAHE(clipLimit2.0, tileGridSize(8, 8)) lab[:, :, 0] clahe.apply(lab[:, :, 0]) enhanced cv2.cvtColor(lab, cv2.COLOR_LAB2BGR) return enhanced提示CLAHE的clipLimit别设太高否则噪声也会被放大一般2.0到3.0比较合适。4.4 推理与后处理的衔接推理输出的是原始张量要转成业务能用的结果中间的后处理很关键。检测模型要做NMS、置信度过滤、坐标还原分割模型要做阈值化、连通域分析、面积过滤分类模型要做softmax和阈值判定。def postprocess_detection(outputs, conf_thres0.5, iou_thres0.45): boxes, scores, class_ids [], [], [] for out in outputs: # 解析输出过滤低置信度 mask out[:, 4] conf_thres out out[mask] # NMS keep nms(out[:, :4], out[:, 4], iou_thres) for k in keep: boxes.append(out[k, :4]) scores.append(out[k, 4]) class_ids.append(out[k, 5]) return boxes, scores, class_ids后处理里最容易出问题的是坐标还原如果预处理做了缩放或裁剪后处理必须反向映射回原图坐标否则定位全错。5. 精度调优把漏检和过杀压下去5.1 数据增强与样本均衡工业质检最大的痛点是缺陷样本少正常样本一大堆缺陷可能就几十张。这种不均衡数据直接训模型模型会倾向于全判OK漏检率爆表。解决办法有几个一是数据增强旋转、翻转、亮度扰动、加噪声、Cutout、MixUp能把几十张扩到几千张。二是过采样缺陷样本重复采样。三是损失函数加权给缺陷类更高的权重Focal Loss就是干这个的。import albumentations as A transform A.Compose([ A.RandomRotate90(), A.HorizontalFlip(), A.VerticalFlip(), A.RandomBrightnessContrast(brightness_limit0.2, contrast_limit0.2), A.GaussNoise(var_limit(10.0, 50.0)), A.Cutout(num_holes8, max_h_size32, max_w_size32), ])注意增强要符合实际场景比如缺陷不会倒着出现那垂直翻转就不合理。增强策略错了模型学到的特征是错的。5.2 阈值调优与PR曲线分析模型输出的是概率判定OK/NG靠阈值。阈值定高了漏检定低了过杀。正确做法是在验证集上画PR曲线找到满足业务要求的平衡点。假设业务要求漏检率低于0.1%过杀率低于2%那就在PR曲线上找召回率99.9%对应的阈值再看此时的精确率是否满足过杀要求。如果满足不了说明模型能力不够得回去优化模型或数据。阈值召回率精确率漏检率过杀率0.399.95%92%0.05%8%0.599.8%96%0.2%4%0.799.0%98.5%1.0%1.5%从表里能看出阈值和漏检、过杀是此消彼长的关系没有完美解只能找业务能接受的平衡点。5.3 模型迭代与数据回流产线跑起来后模型会随着时间退化因为工件批次、光源状态都在变。所以数据回流机制是必须的把产线上判定为NG的图、人工复检的图、置信度处于临界区的图自动归档定期人工标注后加入训练集重新训练模型。我一般设两个触发条件一是累计新增标注样本超过500张二是连续一周过杀率或漏检率超过阈值。满足任一条件就启动迭代。5.4 常见误检的排查思路误检排查我总结了一套流程按这个顺序走基本能定位问题看误检图是图像质量问题还是算法问题图像模糊、过曝、欠曝先解决打光和相机。看特征分布误检样本的特征和正常样本有没有重叠重叠说明特征区分度不够得换特征或加数据。看模型输出置信度分布如何如果误检样本置信度普遍偏低调阈值能缓解如果偏高说明模型真的学错了。看数据标注标注有没有错我见过标注员把正常纹理标成缺陷的模型学出来全是误检。提示排查误检一定要有图像和结果的对应记录没有记录就只能靠猜效率极低。6. 部署上线从实验室到产线的最后一公里6.1 边缘部署与算力规划产线工位一般用工控机或边缘计算盒子算力规划要看模型大小和节拍要求。我的经验值轻量分类模型CPU就能跑检测和分割模型建议上GPU入门级用GTX 1650或RTX A2000多相机高节拍场景上RTX 4090或A5000。算力估算公式所需算力 单帧推理时间 × 相机数量 × 帧率。比如单帧200毫秒4个相机每秒5帧那需要4×520路并行推理单卡扛不住就得多卡或降分辨率。6.2 系统稳定性与异常处理产线系统最怕的是跑着跑着崩了。稳定性设计要做几件事看门狗主进程挂掉自动重启。心跳检测和PLC定期通信超时报警。日志分级DEBUG、INFO、WARN、ERROR分开记录方便排查。资源监控CPU、内存、GPU显存超阈值报警。降级策略模型推理超时或失败时切到备用规则或直接报警停机。import logging from logging.handlers import RotatingFileHandler logger logging.getLogger(qc_system) logger.setLevel(logging.INFO) handler RotatingFileHandler(qc.log, maxBytes10*1024*1024, backupCount5) formatter logging.Formatter(%(asctime)s - %(levelname)s - %(message)s) handler.setFormatter(formatter) logger.addHandler(handler)6.3 结果可视化与追溯质检结果要能可视化操作员一眼看出哪里NG工程师能追溯历史数据。Web界面用Flask加前端框架就能搭展示实时图像、判定结果、缺陷位置标注、统计报表。追溯这块我建议每张图都存原图加结果JSON存的时候按日期和批次分目录数据库存索引。这样出问题能快速定位也方便后续做数据回流。6.4 产线联调的经验教训联调阶段是最容易出问题的我踩过的坑包括触发信号抖动导致重复取图、通信超时导致判定丢失、光源和相机不同步导致图像忽明忽暗、工控机散热不够导致GPU降频。我的建议是联调前先做单模块测试相机单独测、算法单独测、通信单独测都通过了再联调。联调时用示波器看触发信号用日志记录每个环节的耗时把节拍拆开分析哪里慢优化哪里。7. 一些掏心窝子的实操心得做质检这几年最大的体会是别迷信算法先把图像搞定。我见过太多团队一上来就调模型结果打光一塌糊涂图像本身就看不清缺陷模型再强也没用。花两天时间做打光实验比花两周调模型收益大得多。第二个体会是数据比模型重要。同样的网络结构数据标注质量高、覆盖场景全效果能差出十几个点。标注规范要提前定好缺陷边界怎么画、模糊样本怎么处理、临界样本怎么判这些都要和产线品质部门对齐别自己拍脑袋。第三个是留余量。节拍别卡太死留20%余量应对波动精度别卡太极限留一点容错空间算力别用满留点余量给后续加模型。产线环境比实验室恶劣得多余量就是稳定性。最后说个具体的技巧模型上线前一定要做小批量试跑别直接全量上线。先跑一周收集误检漏检数据调优后再全量推。我见过直接全量上线结果漏检一批货被客户投诉的返工成本远高于试跑成本。这套开源质检系统的搭建和调优链路核心就是把工程化做扎实把每个环节的细节抠到位。算法只是其中一环采集、打光、预处理、后处理、部署、迭代每一环都能决定项目成败。希望这些经验能帮你少走点弯路把质检系统真正跑稳在产线上。