简介课件聚焦数字图像处理在智能交通领域的典型应用以汽车牌照自动识别为完整主线面向学习图像处理课程的学生、高校教师及对计算机视觉应用感兴趣的入门者。内容从车牌识别系统的设计概述出发逐步讲解彩色图像转灰度、灰度拉伸、二值化、梯度锐化、中值滤波、牌照区域定位与四个坐标值确定、区域截取、几何位置调整、牌照二值化及字符切分等完整流程并补充了指纹识别系统的基础特征与识别框架便于对照理解理论到实现的关键环节。资源包共1个PPT文件大小约1.19MB结构紧凑、层次分明适合用于课程汇报、自学复习或教学备课。已有169人学习了该课件适合需要快速建立数字图像处理应用场景认知的读者下载参考。1. 车牌识别里的数字图像处理为什么先讲预处理做车牌识别系统很多人第一反应是直接上深度学习模型把整张图丢进去端到端出结果。但回到工业落地场景尤其是城市道路、高速公路这类实时性要求高的项目传统数字图像处理管线依然有不可替代的位置计算量小、可解释性强、不依赖海量标注数据。这套PPT课件的核心价值恰恰是把从彩色图像到车牌字符输出的完整链路拆成了十三个可复现的步骤。整个处理流程可以概括为两条主线一是车牌定位解决“车牌在哪里”的问题二是车牌字符识别解决“车牌是什么”的问题。定位阶段依赖灰度转换、灰度拉伸、二值化、梯度锐化和中值滤波识别阶段则涉及牌照区域截取、几何校正、字符切分和字符识别。每一步都有明确的输入输出和数学依据比如灰度转换用加权平均公式Y0.299R0.587G0.114B二值化阈值用Tfmax-(fmax-fmin)/3确定。这套思路适合正在学习数字图像处理课程的本科生、准备课程设计的同学以及想快速搭建传统视觉方案原型的工程师。下面按实际项目推进顺序把每一步的数学原理、代码实现和参数调优思路逐一展开。2. 车牌定位前的图像预处理从灰度化到边缘增强车牌定位是整个识别系统的第一步定位不准后面字符分割和识别全是空中楼阁。预处理阶段的核心目标只有一个让车牌区域和背景的差异最大化同时抑制噪声干扰。2.1 彩色图像转灰度加权平均公式的工程含义手机或工业相机拍到的车辆图像是RGB三通道彩色图每个像素由红绿蓝三个分量组成。直接在三通道上做后续处理不是不行但计算量是三倍而且车牌本身的蓝色底、白色字在RGB空间里特征并不比灰度空间更稳定。灰度转换采用国际通用的ITU-R BT.601标准import numpy as np def rgb_to_gray(img): r, g, b img[:, :, 0], img[:, :, 1], img[:, :, 2] gray 0.299 * r 0.587 * g 0.114 * b return gray.astype(np.uint8)三个系数对应人眼对红绿蓝三色的敏感度差异。绿色敏感度最高所以权重最大蓝色最低所以权重最小这和CIE亮度公式一致。实操中有个容易忽视的点如果图像是float类型直接乘系数再取整会丢失精度应该先乘后四舍五入而不是先取整再乘。2.2 灰度拉伸为什么线性变换比直方图均衡更可控车辆图像受光照影响很大逆光时车牌区域灰度集中在较窄区间对比度不够直接二值化会出现大面积粘连。灰度拉伸是把原图灰度范围[a,b]线性映射到[c,d]def gray_stretch(img, a, b, c0, d255): # a, b: 原图像灰度范围; c, d: 目标灰度范围 result np.clip(img, a, b) result (result - a) * (d - c) / (b - a) c return result.astype(np.uint8)当f(x,y)≤a时直接置为c当f(x,y)≥b时置为d中间部分线性映射。注意这里的a和b不是全图最小最大值而是根据直方图选出的有效灰度区间一般取直方图两端累积概率1%5%处的灰度值避免个别极端像素拉偏整体映射。相比直方图均衡化线性拉伸的优点是变换参数可预期、可复现。在车牌识别场景中车牌的蓝色底和白色字在灰度图上差距本来就不小线性拉伸足够用直方图均衡化在光照不均时容易把背景噪声也一并增强。2.3 二值化阈值选取从固定阈值到自适应二值化的目标是把灰度图变成只有0和255两个值的黑白图。课件里给出的初始阈值公式Tfmax-(fmax-fmin)/3相当于取灰度范围的偏高位。这个策略的思路是车牌字符白色通常比背景蓝色或黑色亮所以阈值应该偏向灰度高端避免把字符误判为背景。def binarize(img, thresholdNone): if threshold is None: fmax, fmin img.max(), img.min() threshold fmax - (fmax - fmin) / 3 binary np.where(img threshold, 255, 0) return binary.astype(np.uint8)但固定阈值在真实场景中不够鲁棒。车牌的蓝色在不同光照下灰度值波动很大晴天和阴天差50个灰度级很常见。更好的做法是Otsu大津法它自动搜索一个阈值让前景和背景的类间方差最大。OpenCV里一行就能实现import cv2 th, binary cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU)对于课件中“本系统初始阈值T”的描述可以理解为简化教学版本实际工程中我一般先用Otsu算一次再根据车牌区域的平均亮度做偏移修正。2.4 梯度锐化和中值滤波先增强边缘再去噪二值化之后车牌字符边缘可能存在断裂或锯齿。梯度锐化通过Sobel或拉普拉斯算子提取边缘叠加回原图增强轮廓。Sobel算子的核心是两个方向的卷积核sobel_x np.array([[-1, 0, 1], [-2, 0, 2], [-1, 0, 1]]) sobel_y np.array([[-1, -2, -1], [0, 0, 0], [1, 2, 1]]) grad_x cv2.filter2D(binary, cv2.CV_32F, sobel_x) grad_y cv2.filter2D(binary, cv2.CV_32F, sobel_y) grad np.sqrt(grad_x**2 grad_y**2)Sobel的特点是引入了距离权重离中心越近的像素权重越大抗噪能力比单纯的一阶差分强。拉普拉斯算子是二阶微分对噪声更敏感但边缘定位更精确。课件里说“梯度的计算可以采用Sobel算子、拉普拉斯算子等”在车牌场景中Sobel足够因为车牌字符笔画粗不需要拉普拉斯那种精细定位。锐化之后是噪声问题。车牌图像在拍摄和传输过程中会混入椒盐噪声表现为随机出现的白点或黑点。中值滤波的原理是取邻域内像素灰度的中位数替代中心像素值对椒盐噪声有天然的抑制作用同时比均值滤波更好地保留边缘。filtered cv2.medianBlur(grad, 5)这里核大小选5x5太小去噪不彻底太大字符边缘会被磨掉。判断标准很简单滤波后字符边缘是否依然清晰背景噪声点是否明显减少。下面是预处理阶段的参数速查表步骤核心参数推荐值调整方向灰度化RGB系数0.299/0.587/0.114固定不变灰度拉伸[a,b]范围直方图1%99%分位光照差时扩大区间二值化阈值TOtsu自动计算字符断连时降低阈值Sobel锐化核大小3x3边缘弱时改5x5中值滤波窗口大小5x5噪声大时改7x73. 车牌区域定位与坐标提取从特征分析到几何校正预处理完成后的图像已经具备了“车牌子区域高亮、背景被抑制”的特点接下来要解决的是如何从整幅图中精确框出车牌。3.1 车牌区域定位的通用策略课件强调“定位准确与否将直接关系到后面的字符分割”这句话是整条流水线的核心矛盾。传统方法定位车牌通常走三步先做大尺度筛选再做形态学处理连接断裂区域最后用几何约束确认候选框。车牌本身的特征很明确宽高比约3:1到4:1字符排列规则边缘密度高。在代码实现上我习惯先用形态学闭运算把字符区域的缝隙填上让车牌变成一个连通的矩形块kernel cv2.getStructuringElement(cv2.MORPH_RECT, (15, 5)) closed cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel)闭运算是先膨胀后腐蚀作用是把相邻的字符连通成一个整体。核的宽度15对应车牌字符间距的典型像素宽度高度5对应字符高度。如果核宽度太小字符连不起来太大又会把周围背景也纳入。然后通过连通域分析提取候选区域contours, _ cv2.findContours(closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) candidates [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) aspect_ratio w / h area_ratio (w * h) / (img.shape[0] * img.shape[1]) if 2.0 aspect_ratio 5.0 and area_ratio 0.005: candidates.append((x, y, w, h))3.2 确定牌照区域四个坐标值的三种手段拿到候选连通域后需要确定精确的矩形坐标。这里有三层递进的方法第一层是直接取外接矩形简单但对倾斜车牌不友好。第二层是取最小外接矩形用cv2.minAreaRect获得带旋转角度的矩形四个顶点坐标更贴近真实车牌形状。第三层是基于投影分析精修水平投影确定上下边界垂直投影确定左右边界。rect cv2.minAreaRect(cnt) box cv2.boxPoints(rect) # 四个顶点坐标 angle rect[2] # 旋转角度投影法的好处是可以结合车牌的先验知识做纠偏。水平投影上车牌区域的投影值应该是连续的高值段而且宽度和高度比例要符合车牌规格。如果检测到的区域高度只有预期的一半多半是定位到了字符的一部分而非整个车牌。3.3 车牌区域截取与几何位置调整确定了四个坐标值之后按坐标把原图中的车牌区域裁出来x, y, w, h cv2.boundingRect(cnt) plate_region gray[y:yh, x:xw]这一步如果直接用灰度图裁剪后续字符分割的输入质量会好很多。不过摄像头正对车牌的情况很少实际拍摄中车牌会有俯仰角和偏转角导致字符横向或纵向倾斜直接切分字符会有粘连或断裂。几何校正分两步先水平校正再左右校正。水平校正是找车牌的上下边框用直线拟合求出倾角按倾角做仿射变换rows, cols plate_region.shape M cv2.getRotationMatrix2D((cols/2, rows/2), angle, 1) corrected cv2.warpAffine(plate_region, M, (cols, rows), flagscv2.INTER_CUBIC, borderModecv2.BORDER_REPLICATE)左右校正则是判断字符是否整体偏向一侧根据字符排列的垂直投影分布做一个小的透视变换。这里有个实操细节旋转会引入黑色边框区域需要用borderModecv2.BORDER_REPLICATE用边缘像素填充而不是默认的黑色。4. 牌照字符切分与识别投影法、轮廓分析法与结构特征匹配车牌框出来了几何也校正了下一步是把“冀A12345”这样的字符串切成单个字符再逐个识别。4.1 牌照区域自适应二值化为什么不能用全局阈值前面预处理阶段做过一次二值化但那是针对整幅车辆图像。裁出来的车牌区域因为光照不均、车牌本身颜色和磨损程度不同灰度分布和整图差异很大。如果沿用固定阈值可能出现字符断裂或背景粘连。课件里提到“最佳阈值二值化方法”实际工程中常用的是自适应阈值对每个像素根据邻域计算局部阈值adaptive cv2.adaptiveThreshold(plate_gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 31, 15)blockSize取31是经验值大约是车牌字符宽度的1.5倍。C值15是常量修正控制二值化的敏感度。C太大字符会变细C太小背景噪声会冒出来。4.2 字符切分的核心技术垂直投影与连通域分析字符切分的核心原理是垂直投影法。对二值化后的车牌区域按列统计白色像素数量得到一条投影曲线。字符之间的间隔处投影值接近零或极小这些波谷就是切分点。def vertical_projection(binary_img): return np.sum(binary_img 255, axis0) proj vertical_projection(adaptive) # 找到投影值为0的连续区间作为切分边界 cuts [] in_blank True for i, val in enumerate(proj): if val 0 and not in_blank: in_blank True cuts.append(i) elif val 0 and in_blank: in_blank False cuts.append(i)但投影法有两个典型坑字符粘连和字符断裂。粘连时投影曲线没有明显的归零区间断裂时一个字符被分成两段。处理粘连用分裂法根据车牌标准宽度计算预期字符宽度超过宽度的连通域按宽度均分或按轮廓波谷拆分处理断裂用合并法把间距小于阈值的片段合并。更鲁棒的做法是结合连通域分析contours, _ cv2.findContours(adaptive, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) chars [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) if 0.1 w / h 1.5 and h plate_h * 0.3: chars.append((x, y, w, h))筛选条件里放了两个阈值宽高比范围过滤掉细长的边缘线和扁平的噪声块高度下限过滤掉车牌底部的干扰。排序时按x坐标从小到大排得到的就是从左到右的字符序列。4.3 字符识别方法对比结构特征vs模板匹配vs神经网络课件提到“模板匹配法、神经网络方法”以及“数字字符轮廓结构特征和统计特征相结合”的思路。这三种方法各有适用场景模板匹配法实现最简单把切分后的字符缩放到和模板相同尺寸计算与每个模板的相似度取最大者。优点是速度快、不依赖训练数据缺点是受字体、粗细、噪声影响大同一字符多种字体时识别率明显下降。适合在固定场景、固定字体的情况下使用。结构特征法提取字符的端点、交叉点、孔洞、弧线等拓扑特征用规则判定类别。比如数字8有两个孔洞而0只有一个7没有孔洞但有明显的折线。这种方法的优点是可解释性强能定位到具体的特征差异但设计特征规则耗时费力遇到倾斜、模糊的字符容易失败。神经网络方法是最灵活的选择卷积神经网络可以直接从字符图像中学习特征# 用PyTorch实现一个简单字符识别模型 import torch.nn as nn class CharCNN(nn.Module): def __init__(self, num_classes34): # 省份简称数字字母 super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(32, 64, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), ) self.classifier nn.Linear(128 * 4 * 8, num_classes) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) return self.classifier(x)这里输入是32x64的字符灰度图经过三层卷积加池化后得到128通道的4x8特征图。实际训练时需要注意数据要包含不同字体的数字和字母样本要加入适度噪声和形变提高泛化能力。如果训练数据有限用MNIST预训练模型做迁移学习也是常见的省力方案。4.4 字符识别精度验证方法识别完成不是终点需要量化评估。对一批标注好的测试车牌图像统计字符级准确率和整牌准确率def evaluate(plate_labels, predictions): char_correct 0 char_total 0 plate_correct 0 for label, pred in zip(plate_labels, predictions): char_correct sum(1 for l, p in zip(label, pred) if l p) char_total len(label) plate_correct (label pred) return char_correct / char_total, plate_correct / len(plate_labels)字符级准确率反映单字符识别器的能力整牌准确率反映系统级联误差的累积效果。如果字符级95%但整牌只有70%说明误差主要集中在少数易混字符上需要针对性地补充训练数据或调整后处理规则。5. 传统管线与深度学习结合的实战建议纯传统图像处理管线已经能跑通从图像到车牌文本的完整流程但在复杂场景下传统方法存在明显的性能天花板倾斜角度很大的车牌、严重过曝或欠曝的照片、夜间反光等情况都会让预处理阶段的参数失效。实际工程项目中我推荐用“传统方法深度学习”的分工方案传统图像处理负责车牌定位和区域裁剪深度学习负责字符识别。理由有两点一是车牌定位问题本质上是一个几何问题颜色特征和边缘特征已经足够解决大部分场景不需要引入大模型二是字符识别是一个标准的分类问题CNN的泛化能力明显优于手工特征。接合点在牌照字符切分完成之后把每个字符图像归一化到统一尺寸输入训练好的CNN模型。这样可以降低光照和噪声的影响同时获得更高的识别精度。另外还有两个容易忽略的工程细节。一是车牌颜色信息的利用中国车牌有蓝底白字、黄底黑字、绿底黑字等多种类型按颜色分类可以预先确定字符亮度方向避免把白字车牌的二值化结果取反。二是在后处理阶段结合省份简称的先验知识做纠错比如“京”后面不会直接跟数字如果识别结果违反了这个规则优先怀疑第二个字符的识别置信度。这套课件对入门者的价值在于把完整的图像处理链路拆成了可逐步验证的模块每一步都有明确的输入输出标准。对工程师来说理解每个模块的数学原理知道什么时候该调阈值、什么时候该换算法这些细节才是保证系统在真实环境中稳定运行的关键。本文还有配套的精品资源点击获取 车牌识别中的数字图像处理：从图像预处理到字符识别全流程解析
简介课件聚焦数字图像处理在智能交通领域的典型应用以汽车牌照自动识别为完整主线面向学习图像处理课程的学生、高校教师及对计算机视觉应用感兴趣的入门者。内容从车牌识别系统的设计概述出发逐步讲解彩色图像转灰度、灰度拉伸、二值化、梯度锐化、中值滤波、牌照区域定位与四个坐标值确定、区域截取、几何位置调整、牌照二值化及字符切分等完整流程并补充了指纹识别系统的基础特征与识别框架便于对照理解理论到实现的关键环节。资源包共1个PPT文件大小约1.19MB结构紧凑、层次分明适合用于课程汇报、自学复习或教学备课。已有169人学习了该课件适合需要快速建立数字图像处理应用场景认知的读者下载参考。1. 车牌识别里的数字图像处理为什么先讲预处理做车牌识别系统很多人第一反应是直接上深度学习模型把整张图丢进去端到端出结果。但回到工业落地场景尤其是城市道路、高速公路这类实时性要求高的项目传统数字图像处理管线依然有不可替代的位置计算量小、可解释性强、不依赖海量标注数据。这套PPT课件的核心价值恰恰是把从彩色图像到车牌字符输出的完整链路拆成了十三个可复现的步骤。整个处理流程可以概括为两条主线一是车牌定位解决“车牌在哪里”的问题二是车牌字符识别解决“车牌是什么”的问题。定位阶段依赖灰度转换、灰度拉伸、二值化、梯度锐化和中值滤波识别阶段则涉及牌照区域截取、几何校正、字符切分和字符识别。每一步都有明确的输入输出和数学依据比如灰度转换用加权平均公式Y0.299R0.587G0.114B二值化阈值用Tfmax-(fmax-fmin)/3确定。这套思路适合正在学习数字图像处理课程的本科生、准备课程设计的同学以及想快速搭建传统视觉方案原型的工程师。下面按实际项目推进顺序把每一步的数学原理、代码实现和参数调优思路逐一展开。2. 车牌定位前的图像预处理从灰度化到边缘增强车牌定位是整个识别系统的第一步定位不准后面字符分割和识别全是空中楼阁。预处理阶段的核心目标只有一个让车牌区域和背景的差异最大化同时抑制噪声干扰。2.1 彩色图像转灰度加权平均公式的工程含义手机或工业相机拍到的车辆图像是RGB三通道彩色图每个像素由红绿蓝三个分量组成。直接在三通道上做后续处理不是不行但计算量是三倍而且车牌本身的蓝色底、白色字在RGB空间里特征并不比灰度空间更稳定。灰度转换采用国际通用的ITU-R BT.601标准import numpy as np def rgb_to_gray(img): r, g, b img[:, :, 0], img[:, :, 1], img[:, :, 2] gray 0.299 * r 0.587 * g 0.114 * b return gray.astype(np.uint8)三个系数对应人眼对红绿蓝三色的敏感度差异。绿色敏感度最高所以权重最大蓝色最低所以权重最小这和CIE亮度公式一致。实操中有个容易忽视的点如果图像是float类型直接乘系数再取整会丢失精度应该先乘后四舍五入而不是先取整再乘。2.2 灰度拉伸为什么线性变换比直方图均衡更可控车辆图像受光照影响很大逆光时车牌区域灰度集中在较窄区间对比度不够直接二值化会出现大面积粘连。灰度拉伸是把原图灰度范围[a,b]线性映射到[c,d]def gray_stretch(img, a, b, c0, d255): # a, b: 原图像灰度范围; c, d: 目标灰度范围 result np.clip(img, a, b) result (result - a) * (d - c) / (b - a) c return result.astype(np.uint8)当f(x,y)≤a时直接置为c当f(x,y)≥b时置为d中间部分线性映射。注意这里的a和b不是全图最小最大值而是根据直方图选出的有效灰度区间一般取直方图两端累积概率1%5%处的灰度值避免个别极端像素拉偏整体映射。相比直方图均衡化线性拉伸的优点是变换参数可预期、可复现。在车牌识别场景中车牌的蓝色底和白色字在灰度图上差距本来就不小线性拉伸足够用直方图均衡化在光照不均时容易把背景噪声也一并增强。2.3 二值化阈值选取从固定阈值到自适应二值化的目标是把灰度图变成只有0和255两个值的黑白图。课件里给出的初始阈值公式Tfmax-(fmax-fmin)/3相当于取灰度范围的偏高位。这个策略的思路是车牌字符白色通常比背景蓝色或黑色亮所以阈值应该偏向灰度高端避免把字符误判为背景。def binarize(img, thresholdNone): if threshold is None: fmax, fmin img.max(), img.min() threshold fmax - (fmax - fmin) / 3 binary np.where(img threshold, 255, 0) return binary.astype(np.uint8)但固定阈值在真实场景中不够鲁棒。车牌的蓝色在不同光照下灰度值波动很大晴天和阴天差50个灰度级很常见。更好的做法是Otsu大津法它自动搜索一个阈值让前景和背景的类间方差最大。OpenCV里一行就能实现import cv2 th, binary cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU)对于课件中“本系统初始阈值T”的描述可以理解为简化教学版本实际工程中我一般先用Otsu算一次再根据车牌区域的平均亮度做偏移修正。2.4 梯度锐化和中值滤波先增强边缘再去噪二值化之后车牌字符边缘可能存在断裂或锯齿。梯度锐化通过Sobel或拉普拉斯算子提取边缘叠加回原图增强轮廓。Sobel算子的核心是两个方向的卷积核sobel_x np.array([[-1, 0, 1], [-2, 0, 2], [-1, 0, 1]]) sobel_y np.array([[-1, -2, -1], [0, 0, 0], [1, 2, 1]]) grad_x cv2.filter2D(binary, cv2.CV_32F, sobel_x) grad_y cv2.filter2D(binary, cv2.CV_32F, sobel_y) grad np.sqrt(grad_x**2 grad_y**2)Sobel的特点是引入了距离权重离中心越近的像素权重越大抗噪能力比单纯的一阶差分强。拉普拉斯算子是二阶微分对噪声更敏感但边缘定位更精确。课件里说“梯度的计算可以采用Sobel算子、拉普拉斯算子等”在车牌场景中Sobel足够因为车牌字符笔画粗不需要拉普拉斯那种精细定位。锐化之后是噪声问题。车牌图像在拍摄和传输过程中会混入椒盐噪声表现为随机出现的白点或黑点。中值滤波的原理是取邻域内像素灰度的中位数替代中心像素值对椒盐噪声有天然的抑制作用同时比均值滤波更好地保留边缘。filtered cv2.medianBlur(grad, 5)这里核大小选5x5太小去噪不彻底太大字符边缘会被磨掉。判断标准很简单滤波后字符边缘是否依然清晰背景噪声点是否明显减少。下面是预处理阶段的参数速查表步骤核心参数推荐值调整方向灰度化RGB系数0.299/0.587/0.114固定不变灰度拉伸[a,b]范围直方图1%99%分位光照差时扩大区间二值化阈值TOtsu自动计算字符断连时降低阈值Sobel锐化核大小3x3边缘弱时改5x5中值滤波窗口大小5x5噪声大时改7x73. 车牌区域定位与坐标提取从特征分析到几何校正预处理完成后的图像已经具备了“车牌子区域高亮、背景被抑制”的特点接下来要解决的是如何从整幅图中精确框出车牌。3.1 车牌区域定位的通用策略课件强调“定位准确与否将直接关系到后面的字符分割”这句话是整条流水线的核心矛盾。传统方法定位车牌通常走三步先做大尺度筛选再做形态学处理连接断裂区域最后用几何约束确认候选框。车牌本身的特征很明确宽高比约3:1到4:1字符排列规则边缘密度高。在代码实现上我习惯先用形态学闭运算把字符区域的缝隙填上让车牌变成一个连通的矩形块kernel cv2.getStructuringElement(cv2.MORPH_RECT, (15, 5)) closed cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel)闭运算是先膨胀后腐蚀作用是把相邻的字符连通成一个整体。核的宽度15对应车牌字符间距的典型像素宽度高度5对应字符高度。如果核宽度太小字符连不起来太大又会把周围背景也纳入。然后通过连通域分析提取候选区域contours, _ cv2.findContours(closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) candidates [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) aspect_ratio w / h area_ratio (w * h) / (img.shape[0] * img.shape[1]) if 2.0 aspect_ratio 5.0 and area_ratio 0.005: candidates.append((x, y, w, h))3.2 确定牌照区域四个坐标值的三种手段拿到候选连通域后需要确定精确的矩形坐标。这里有三层递进的方法第一层是直接取外接矩形简单但对倾斜车牌不友好。第二层是取最小外接矩形用cv2.minAreaRect获得带旋转角度的矩形四个顶点坐标更贴近真实车牌形状。第三层是基于投影分析精修水平投影确定上下边界垂直投影确定左右边界。rect cv2.minAreaRect(cnt) box cv2.boxPoints(rect) # 四个顶点坐标 angle rect[2] # 旋转角度投影法的好处是可以结合车牌的先验知识做纠偏。水平投影上车牌区域的投影值应该是连续的高值段而且宽度和高度比例要符合车牌规格。如果检测到的区域高度只有预期的一半多半是定位到了字符的一部分而非整个车牌。3.3 车牌区域截取与几何位置调整确定了四个坐标值之后按坐标把原图中的车牌区域裁出来x, y, w, h cv2.boundingRect(cnt) plate_region gray[y:yh, x:xw]这一步如果直接用灰度图裁剪后续字符分割的输入质量会好很多。不过摄像头正对车牌的情况很少实际拍摄中车牌会有俯仰角和偏转角导致字符横向或纵向倾斜直接切分字符会有粘连或断裂。几何校正分两步先水平校正再左右校正。水平校正是找车牌的上下边框用直线拟合求出倾角按倾角做仿射变换rows, cols plate_region.shape M cv2.getRotationMatrix2D((cols/2, rows/2), angle, 1) corrected cv2.warpAffine(plate_region, M, (cols, rows), flagscv2.INTER_CUBIC, borderModecv2.BORDER_REPLICATE)左右校正则是判断字符是否整体偏向一侧根据字符排列的垂直投影分布做一个小的透视变换。这里有个实操细节旋转会引入黑色边框区域需要用borderModecv2.BORDER_REPLICATE用边缘像素填充而不是默认的黑色。4. 牌照字符切分与识别投影法、轮廓分析法与结构特征匹配车牌框出来了几何也校正了下一步是把“冀A12345”这样的字符串切成单个字符再逐个识别。4.1 牌照区域自适应二值化为什么不能用全局阈值前面预处理阶段做过一次二值化但那是针对整幅车辆图像。裁出来的车牌区域因为光照不均、车牌本身颜色和磨损程度不同灰度分布和整图差异很大。如果沿用固定阈值可能出现字符断裂或背景粘连。课件里提到“最佳阈值二值化方法”实际工程中常用的是自适应阈值对每个像素根据邻域计算局部阈值adaptive cv2.adaptiveThreshold(plate_gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 31, 15)blockSize取31是经验值大约是车牌字符宽度的1.5倍。C值15是常量修正控制二值化的敏感度。C太大字符会变细C太小背景噪声会冒出来。4.2 字符切分的核心技术垂直投影与连通域分析字符切分的核心原理是垂直投影法。对二值化后的车牌区域按列统计白色像素数量得到一条投影曲线。字符之间的间隔处投影值接近零或极小这些波谷就是切分点。def vertical_projection(binary_img): return np.sum(binary_img 255, axis0) proj vertical_projection(adaptive) # 找到投影值为0的连续区间作为切分边界 cuts [] in_blank True for i, val in enumerate(proj): if val 0 and not in_blank: in_blank True cuts.append(i) elif val 0 and in_blank: in_blank False cuts.append(i)但投影法有两个典型坑字符粘连和字符断裂。粘连时投影曲线没有明显的归零区间断裂时一个字符被分成两段。处理粘连用分裂法根据车牌标准宽度计算预期字符宽度超过宽度的连通域按宽度均分或按轮廓波谷拆分处理断裂用合并法把间距小于阈值的片段合并。更鲁棒的做法是结合连通域分析contours, _ cv2.findContours(adaptive, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) chars [] for cnt in contours: x, y, w, h cv2.boundingRect(cnt) if 0.1 w / h 1.5 and h plate_h * 0.3: chars.append((x, y, w, h))筛选条件里放了两个阈值宽高比范围过滤掉细长的边缘线和扁平的噪声块高度下限过滤掉车牌底部的干扰。排序时按x坐标从小到大排得到的就是从左到右的字符序列。4.3 字符识别方法对比结构特征vs模板匹配vs神经网络课件提到“模板匹配法、神经网络方法”以及“数字字符轮廓结构特征和统计特征相结合”的思路。这三种方法各有适用场景模板匹配法实现最简单把切分后的字符缩放到和模板相同尺寸计算与每个模板的相似度取最大者。优点是速度快、不依赖训练数据缺点是受字体、粗细、噪声影响大同一字符多种字体时识别率明显下降。适合在固定场景、固定字体的情况下使用。结构特征法提取字符的端点、交叉点、孔洞、弧线等拓扑特征用规则判定类别。比如数字8有两个孔洞而0只有一个7没有孔洞但有明显的折线。这种方法的优点是可解释性强能定位到具体的特征差异但设计特征规则耗时费力遇到倾斜、模糊的字符容易失败。神经网络方法是最灵活的选择卷积神经网络可以直接从字符图像中学习特征# 用PyTorch实现一个简单字符识别模型 import torch.nn as nn class CharCNN(nn.Module): def __init__(self, num_classes34): # 省份简称数字字母 super().__init__() self.features nn.Sequential( nn.Conv2d(1, 32, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(32, 64, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3, padding1), nn.ReLU(), nn.MaxPool2d(2), ) self.classifier nn.Linear(128 * 4 * 8, num_classes) def forward(self, x): x self.features(x) x x.view(x.size(0), -1) return self.classifier(x)这里输入是32x64的字符灰度图经过三层卷积加池化后得到128通道的4x8特征图。实际训练时需要注意数据要包含不同字体的数字和字母样本要加入适度噪声和形变提高泛化能力。如果训练数据有限用MNIST预训练模型做迁移学习也是常见的省力方案。4.4 字符识别精度验证方法识别完成不是终点需要量化评估。对一批标注好的测试车牌图像统计字符级准确率和整牌准确率def evaluate(plate_labels, predictions): char_correct 0 char_total 0 plate_correct 0 for label, pred in zip(plate_labels, predictions): char_correct sum(1 for l, p in zip(label, pred) if l p) char_total len(label) plate_correct (label pred) return char_correct / char_total, plate_correct / len(plate_labels)字符级准确率反映单字符识别器的能力整牌准确率反映系统级联误差的累积效果。如果字符级95%但整牌只有70%说明误差主要集中在少数易混字符上需要针对性地补充训练数据或调整后处理规则。5. 传统管线与深度学习结合的实战建议纯传统图像处理管线已经能跑通从图像到车牌文本的完整流程但在复杂场景下传统方法存在明显的性能天花板倾斜角度很大的车牌、严重过曝或欠曝的照片、夜间反光等情况都会让预处理阶段的参数失效。实际工程项目中我推荐用“传统方法深度学习”的分工方案传统图像处理负责车牌定位和区域裁剪深度学习负责字符识别。理由有两点一是车牌定位问题本质上是一个几何问题颜色特征和边缘特征已经足够解决大部分场景不需要引入大模型二是字符识别是一个标准的分类问题CNN的泛化能力明显优于手工特征。接合点在牌照字符切分完成之后把每个字符图像归一化到统一尺寸输入训练好的CNN模型。这样可以降低光照和噪声的影响同时获得更高的识别精度。另外还有两个容易忽略的工程细节。一是车牌颜色信息的利用中国车牌有蓝底白字、黄底黑字、绿底黑字等多种类型按颜色分类可以预先确定字符亮度方向避免把白字车牌的二值化结果取反。二是在后处理阶段结合省份简称的先验知识做纠错比如“京”后面不会直接跟数字如果识别结果违反了这个规则优先怀疑第二个字符的识别置信度。这套课件对入门者的价值在于把完整的图像处理链路拆成了可逐步验证的模块每一步都有明确的输入输出标准。对工程师来说理解每个模块的数学原理知道什么时候该调阈值、什么时候该换算法这些细节才是保证系统在真实环境中稳定运行的关键。本文还有配套的精品资源点击获取