简介面向Java开发者的图像深度学习综合Demo项目整合Spring Boot后端、Maven构建与OpenCV视觉库覆盖车牌识别、人脸识别、证件识别三类典型场景适合计算机视觉初学者、相关课程设计或毕业设计参考。压缩包共482个文件约121.71MB文件构成以jpg/png样本图片、java后端代码、js/css前端资源为主另含cpp核心算法、traineddata训练数据及dll动态库能够支撑从样本处理、特征提取、模型训练到Web应用展示的完整链路。项目内容细化到车牌边缘检测与字符分割、人脸级联分类与特征比对、证件区域定位与OCR文字识别等关键环节并提供Haar级联、HOG、SVM、CNN等常用算法代码示例。资源包按照api_config、训练源码、字符识别、特征工程等模块组织目录清晰、检索方便。目前已有593人学习适合希望快速搭建可演示的图像识别Demo并进一步理解工程化细节的开发者。1. 为什么 Spring Boot 团队需要这样一个图像识别 Demo停车场出口每天拍下上万张画面后端拿到手的往往是同一个需求传一张图返回车牌号、人脸位置、证件上的姓名与身份证号。多数 Java 开发者会先想到 Python 的 OCR 库和 YOLO 模型可业务系统已经跑在 Spring Boot 里识别能力就得变成服务的一部分。OpenCV 的 Java 绑定解决了「JVM 里能不能做图像处理」的问题Maven 则把依赖和构建流程管起来于是这个 Demo 的定位就清楚了用最小工程成本把深度学习图像识别能力接进 Java 后端。标题里三个技术名词各管一段Spring Boot 负责 HTTP 接口与服务生命周期Maven 负责依赖坐标系和构建OpenCV 负责图像预处理以及部分传统算法。车牌、人脸、证件三类任务难度递增正好用来示范 OpenCV 与深度学习模型如何分工。适合刚接手 Java CV 任务、需要跑通完整链路的开发者也适合评估接入成本的后端架构师。下面按工程配置、车牌识别、人脸与证件、批量验证四步推进。2. Maven 引入 OpenCV 的工程化配置依赖坐标与本地库加载把 OpenCV 纳入 Maven 构建第一步就会撞上一个历史问题OpenCV 官方没有在中央仓库发布标准 artifact。官方发行包提供的是opencv-460.jar对应 4.6.0和一套本地动态库想让 Maven 管理它常见做法有两条选择依据取决于你在开发期还是部署期。2.1 两种依赖引入路线官方 jar 与 javacv 封装第一种是直接把官方 jar 安装进本地 Maven 仓库用mvn install:install-file命令完成mvn install:install-file \ -Dfileopencv-460.jar \ -DgroupIdorg.opencv \ -DartifactIdopencv \ -Dversion4.6.0 \ -Dpackagingjar这段命令把 jar 注册成org.opencv:opencv:4.6.0之后在pom.xml里按普通坐标引用即可。注意 install-file 只解决了 Java 包装类的依赖管理同目录下的opencv_java460.dll或libopencv_java460.so仍然需要手动拷贝到运行环境这也是这条路线最容易被忽略的一步。第二种是使用org.bytedeco的 javacv 封装坐标写法如下dependency groupIdorg.bytedeco/groupId artifactIdjavacv-platform/artifactId version1.5.9/version /dependencyjavacv 会自动拉取对应平台的本地库并在运行时解压加载开发期体验好很多。代价是javacv-platform会带入 Windows、Linux、macOS 三套二进制包体庞大生产部署时通常要按平台裁剪。两条路线的取舍如下表对比项官方 jar install-filejavacv-platform本地库来源手动拷贝 dll/so 并配置路径自动下载并解压打包体积小只含所需平台大含多平台二进制离线部署需要自管 native 文件需要裁剪多余平台适用场景生产环境精确控制本地开发快速跑通如果你的 maven 配置文件settings.xml配了阿里云仓库镜像javacv 的依赖也能正常拉取但镜像只解决 jar 下载解决不了 native 库与 Java 包装器版本不一致的问题。无论走哪条路线都要保证opencv-460.jar里的 Java API 和opencv_java460.dll来自同一个发行包否则会出现UnsatisfiedLinkError。2.2 本地库加载时机静态块优先加载 OpenCV 的时机比想象中更重要。常见的错误写法是等到第一次请求到达时才加载并发请求同时触发类初始化容易产生重复加载或库未就绪的偶发异常。稳妥的做法是在应用启动最早的阶段完成加载public class Application { static { // javacv 方案从 classpath 找并加载共享库 nu.pattern.OpenCV.loadShared(); // 官方 jar 方案替换为下面这行 // System.loadLibrary(Core.NATIVE_LIBRARY_NAME); } public static void main(String[] args) { // 这里创建的任何 Mat 对象都保证库已就绪 SpringApplication.run(Application.class, args); } }OpenCV.loadShared()是 javacv 提供的快捷方法它负责在 classpath 中定位平台相关的本地库、解压到临时目录并完成加载使用官方 jar 时改用System.loadLibrary(Core.NATIVE_LIBRARY_NAME)。把加载逻辑放进主类静态块能保证 Spring 容器创建任何 Bean 之前库已经可用。加载完成后可以打印Core.getVersionString()做一次显式校验避免后续报错时还要猜版本。向 OpenCV 接入过程会遇到的另一个坑是 Spring Boot DevTools。DevTools 的热重启会创建新的类加载器native 库已被前一个类加载器加载过二次加载会直接抛Library already loaded in another classloader。Demo 阶段涉及图像功能时建议先把 DevTools 关掉跑通再说。2.3 最小验证读图、转灰度、写回磁盘依赖和加载就绪后用一个最小流程验证整条链路是否通顺String inputPath src/main/resources/test.jpg; String outputPath target/gray.jpg; Mat src Imgcodecs.imread(inputPath); Mat gray new Mat(); Imgproc.cvtColor(src, gray, Imgproc.COLOR_BGR2GRAY); Imgcodecs.imwrite(outputPath, gray); System.out.println(OK - Core.getVersionString());imread返回一个空的 Mat 时不会抛异常只会在读文件失败时静默返回空对象所以写完后要判断src.empty()。灰度转换用COLOR_BGR2GRAY而非COLOR_RGB2GRAY因为 OpenCV 默认按 BGR 通道顺序读取图像这个顺序错误是初学者最容易踩的坑。能跑通这一步后面的车牌定位、人脸检测才有基础。3. 车牌识别预处理、检测与字符识别的三段式管线车牌识别是整个 Demo 中最能体现「传统图像处理配合深度学习」的任务。它可以拆成三个环节先从复杂背景里定位车牌区域再把车牌区域内的字符切出来或整体送入模型最后输出汉字、字母、数字的识别结果。每一段都有独立的调参空间和失败模式。3.1 定位颜色特征与几何轮廓如何取舍车牌定位最常见的做法有两种。第一种是颜色特征法把图像转到 HSV 空间用inRange过滤出蓝色或黄色像素再做形态学闭运算连接字符区域最后用轮廓筛选确定车牌框。第二种是边缘几何法对灰度图做 Sobel 垂直边缘检测二值化后直接用轮廓的长宽比和面积过滤。如果场景是停车场出入口这类可控位置我一般先上颜色特征法参数直观、调试快。复杂背景、光照不均匀的抓拍图垂直边缘法更稳。预算允许且要处理多角度多车型时直接换开源的车牌检测模型基于 YOLO 或 SSD 的权重把前三步压缩成一次推理。Demo 阶段从颜色特征法起步能帮你把 HSV 和形态学操作练熟。3.2 HSV 滤波与形态学连接的参数细节定位段的核心代码可以这样写Mat hsv new Mat(); Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV); Mat mask new Mat(); // 蓝色车牌常用范围抓拍图像偏暗时把 S 和 V 下限调低 Core.inRange(hsv, new Scalar(100, 80, 60), new Scalar(124, 255, 255), mask); Mat kernel Imgproc.getStructuringElement(Imgproc.MORPH_RECT, new Size(9, 3)); Imgproc.morphologyEx(mask, mask, Imgproc.MORPH_CLOSE, kernel); ListMatOfPoint contours new ArrayList(); Imgproc.findContours(mask, contours, new Mat(), Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE);为什么在 HSV 里做颜色过滤而不是 RGB车牌颜色受光照影响时RGB 三个通道会联动漂移HSV 把色相独立出来H 通道对光照的敏感度远低于 RGB。形态学闭运算的核选9x3矩形目的是把字符之间的缝隙连成连通域核太宽会把旁边的车灯融进来太窄则字符断开、车牌变成多个碎片。RETR_EXTERNAL只取最外层轮廓避免把字符轮廓也算进候选集。轮廓筛选的宽高比和面积占比是这里最有价值的两个参数for (MatOfPoint contour : contours) { Rect rect Imgproc.boundingRect(contour); double ratio rect.width / (double) rect.height; double areaRatio rect.area() / (double) src.size().area(); if (ratio 2.0 ratio 4.8 areaRatio 0.003 areaRatio 0.05) { Mat plate src.submat(rect); Imgcodecs.imwrite(target/plate_ rect.x _ rect.y .jpg, plate); } }标准小型车蓝牌宽高比约 3.14:1新能源绿牌更宽一点大型车黄牌短边较宽所以区间放到 2.04.8 比较稳。面积占比0.0030.05过滤掉远处小目标和车身大面积反光区域。调这两个值比调 HSV 阈值见效快也是第一次跑 Demo 时最值得动手试一试的地方。3.3 字符识别OCR 服务化还是内置 ONNX 模型车牌区域裁出来后字符识别有三条可选路线。直接调用部署好的 OCR 服务最简单Java 侧只发 HTTP 请求识别质量交给服务端自己用 PaddleOCR 或轻量 CNN 训练一个字符分类模型导出成 ONNX 后用 onnxruntime 的 Java API 内置推理适合要求离线部署的场景OpenCV 自带的 KNN 分类器只能作为演示兜底对汉字支持通常不够。Demo 阶段推荐走内置 ONNX 路线能顺便把深度学习推理链路在 Java 侧跑通。OrtEnvironment env OrtEnvironment.getEnvironment(); OrtSession session env.createSession(plate_cnn.onnx, new OrtSession.SessionOptions()); OnnxTensor tensor OnnxTensor.createTensor(env, inputData); OrtSession.Result result session.run(Map.of(input, tensor)); float[][] output (float[][]) result.get(0).getValue(); int cls argmax(output[0]); String plateChar CHAR_TABLE[cls]; System.out.println(识别结果: plateChar);inputData是把车牌图像缩放归一化后的 float 数组尺寸要与模型输入节点一致不能随手填一个。CHAR_TABLE是从训练集导出的「索引到字符」映射表必须与模型训练时保持一致模型训练用到的省份汉字集合推理代码里要能一字不差地对应上这里出错的现象是数字字母全对、汉字全乱。session 创建成本高要在服务启动时初始化并复用。3.4 调参表与中间结果可视化如果把整个流程跑在服务器上OpenCV 的imshow是没有窗口可用的。常见做法是往临时目录写中间图片通过接口暴露出来查看。现象原因调整方向车牌与车身连成一块闭运算核过大核宽从 9 降到 57夜间蓝色车牌检不出H/S/V 阈值过严降低 S、V 下限或先做 CLAHE 增强黄牌完全不识别只过滤了蓝色增加黄色分支后对两个 mask 取或轮廓数量爆炸二值化后噪声多先高斯模糊再加大面积下限3.4.1 中间结果的归档位置调试代码里建议把mask、候选轮廓裁剪图统一写到target/debug/{时间戳}/每次参数调整后对比同一张测试图的输出比只看最终识别率更直观。写文件时文件名里带上原图坐标方便反查是哪一次轮廓筛选出的结果。4. 人脸识别与证件识别多模型服务的 Spring Boot 封装车牌识别解决的是「这是什么」人脸识别还要回答「这是谁」。证件识别则是在固定版面上做字段定位和内容提取。三者的模型形态不同放进 Spring Boot 服务时需要一个统一的封装思路让 Controller 不依赖 OpenCV 类型。4.1 人脸识别Haar 检测加特征向量比对人脸识别在 Demo 里可以拆成两段。检测段用 OpenCV 自带的 Haar 级联分类器成本低、效果好于多数人的预期比对段用深度学习模型做人脸特征向量提取用余弦相似度判断是否同一个人。CascadeClassifier faceDetector new CascadeClassifier( haarcascade_frontalface_default.xml); Mat gray new Mat(); Imgproc.cvtColor(src, gray, Imgproc.COLOR_BGR2GRAY); MatOfRect faces new MatOfRect(); faceDetector.detectMultiScale(gray, faces, 1.1, 5, 0, new Size(60, 60), new Size(400, 400));detectMultiScale的参数直接影响召回率与误检率scaleFactor1.1表示检测窗口每轮缩放 10%值越小检测越精细、耗时越长minNeighbors5要求候选框被至少 5 个邻近窗口确认调大可以压误检minSize过滤掉小于 60x60 的目标避免远处的背景纹理被当成脸。Haar 模型对侧脸和遮挡基本无能为力Demo 阶段够用真实场景应换成基于深度学习的检测模型。特征比对的部分常见做法是把 FaceNet 或 ArcFace 导出为 ONNX复用上一章提到的 onnxruntime 推理链路double cosine dot(featureA, featureB) / (norm(featureA) * norm(featureB)); boolean samePerson cosine 0.68; // 阈值按模型和数据集调整置信度阈值不是通用常量。FaceNet 系模型阈值通常在 0.70.8 之间ArcFace 输出的余弦距离阈值低一些约 0.30.5。没有标准答案的前提下用一批人工标注的「本人/非本人」样本对画 ROC 曲线再定值是比拍脑袋更稳的做法。4.2 证件识别模板定位加字段裁剪证件识别与车牌、人脸最大的差异是版面固定。身份证的姓名、号码、住址位置是固定的所以核心任务变成「先定位证件区域再按比例裁剪字段」。Mat template Imgcodecs.imread(idcard_template.png); Mat result new Mat(); Imgproc.matchTemplate(src, template, result, Imgproc.TM_CCOEFF_NORMED); Core.MinMaxLocResult m Core.minMaxLoc(result); Point topLeft m.maxLoc; // 定位到证件左上角后按模板比例切出号码区域送 OCR Rect idNumberRect new Rect( (int) (topLeft.x src.cols() * 0.35), (int) (topLeft.y src.rows() * 0.55), (int) (src.cols() * 0.35), (int) (src.rows() * 0.12)); Mat idNumberArea src.submat(idNumberRect);matchTemplate对旋转和尺度变化很敏感适合拍摄位固定的自助机或高拍仪场景。手机随手拍的照片必须先做透视矫正流程是找证件四角、计算getPerspectiveTransform矩阵、然后warpPerspective拉正再走模板匹配。字段裁剪比例来自真实身份证的版面测量不同版本证件略有差异建议自己的样本上多测几张再定比例。OCR 出的身份证号属于敏感数据日志里禁止打印完整号码Demo 里也应做脱敏处理。4.3 四层架构里图像代码放哪一层Spring Boot 常规的 Controller、Service、Repository 分层里图像识别代码最容易放错位置的是 Controller 直接持有 Mat。Mat 是 native 内存对象既不能被序列化返回给前端也不应该穿过业务边界。我一般会在 Service 下面单独加一层识别 Provider把 OpenCV 和 ONNX 的细节全部封进去public interface PlateRecognizer { PlateResult recognize(byte[] imageBytes); } RestController RequestMapping(/api/recognize) public class RecognizeController { private final PlateRecognizer plateRecognizer; PostMapping(/plate) public PlateResult plate(RequestPart(file) MultipartFile file) throws IOException { return plateRecognizer.recognize(file.getBytes()); } }接口入参用byte[]而不是MultipartFile是为了保留从消息队列或对象存储取图复用的空间。识别结果是普通 POJO字段里放车牌字符串、置信度、定位框坐标方便前端直接渲染。推理模型的线程安全也是一个容易漏的点。ONNX 的OrtSession可以并发调用但CascadeClassifier这类 OpenCV 对象在多线程下并不安全。常见做法是用线程池并发时每个线程持有一个独立的检测器实例或者用 ThreadLocal 包一层。服务对外提供的接口如下接口方法入参返回/api/recognize/platePOSTmultipart 图片车牌号、置信度、定位框/api/recognize/facePOSTmultipart 图片人脸框列表、特征向量/api/recognize/idcardPOSTmultipart 图片姓名、身份证号、置信度5. 用批量测试脚本验证识别效果定位失败样本模型接进服务只是开始真正决定 Demo 能不能拿去演示的是「一批图里到底能对几张」。逐个用 Postman 点接口看不出问题分布我一般会准备一个带标注的小数据集再用脚本批量跑一遍。数据集目录按场景组织标注信息放在 CSV 里命名规则要能区分场景test-data/ plates/ expected.csv day/001_京A12345.jpg night/002_京B67890.jpgexpected.csv每行对应一张图字段为文件名、期望车牌号、是否包含车牌。批量调用脚本用 curl 就够了#!/usr/bin/env bash mkdir -p result for img in $(find test-data -name *.jpg); do curl -s -F file$img \ http://localhost:8080/api/recognize/plate \ result/$(basename $img .jpg).json done循环里每张图单独发一次请求串行执行虽然慢但对 Demo 来说足够。跑完把每个 JSON 里的车牌字段与expected.csv比对统计三类指标漏检没有返回车牌、误检框住了非车牌区域、识别错误框对了、字错了。这三类错误的常见占比能直接告诉你要调哪一段——漏检多半在定位环节识别错误则回到字符模型和图像质量。验证脚本里还有一个小技巧值得保留在结果比对阶段把失败样本按类别归档到单独目录同时把该样本的中间产物mask、车牌裁剪图一并拷过去。之后调参只需要打开debug/失败时间戳/里的图片回放不用再回现场抓图。图像识别这类依赖光照和角度的任务失败样本的复现能力就是调试效率。如果某一批图片的 HSV 阈值调顺了别忘了回到第二章的配置类里把阈值提取成可配置项下一个现场环境多半要重新标定。本文还有配套的精品资源点击获取 Spring Boot集成OpenCV：车牌人脸证件识别的工程实践
简介面向Java开发者的图像深度学习综合Demo项目整合Spring Boot后端、Maven构建与OpenCV视觉库覆盖车牌识别、人脸识别、证件识别三类典型场景适合计算机视觉初学者、相关课程设计或毕业设计参考。压缩包共482个文件约121.71MB文件构成以jpg/png样本图片、java后端代码、js/css前端资源为主另含cpp核心算法、traineddata训练数据及dll动态库能够支撑从样本处理、特征提取、模型训练到Web应用展示的完整链路。项目内容细化到车牌边缘检测与字符分割、人脸级联分类与特征比对、证件区域定位与OCR文字识别等关键环节并提供Haar级联、HOG、SVM、CNN等常用算法代码示例。资源包按照api_config、训练源码、字符识别、特征工程等模块组织目录清晰、检索方便。目前已有593人学习适合希望快速搭建可演示的图像识别Demo并进一步理解工程化细节的开发者。1. 为什么 Spring Boot 团队需要这样一个图像识别 Demo停车场出口每天拍下上万张画面后端拿到手的往往是同一个需求传一张图返回车牌号、人脸位置、证件上的姓名与身份证号。多数 Java 开发者会先想到 Python 的 OCR 库和 YOLO 模型可业务系统已经跑在 Spring Boot 里识别能力就得变成服务的一部分。OpenCV 的 Java 绑定解决了「JVM 里能不能做图像处理」的问题Maven 则把依赖和构建流程管起来于是这个 Demo 的定位就清楚了用最小工程成本把深度学习图像识别能力接进 Java 后端。标题里三个技术名词各管一段Spring Boot 负责 HTTP 接口与服务生命周期Maven 负责依赖坐标系和构建OpenCV 负责图像预处理以及部分传统算法。车牌、人脸、证件三类任务难度递增正好用来示范 OpenCV 与深度学习模型如何分工。适合刚接手 Java CV 任务、需要跑通完整链路的开发者也适合评估接入成本的后端架构师。下面按工程配置、车牌识别、人脸与证件、批量验证四步推进。2. Maven 引入 OpenCV 的工程化配置依赖坐标与本地库加载把 OpenCV 纳入 Maven 构建第一步就会撞上一个历史问题OpenCV 官方没有在中央仓库发布标准 artifact。官方发行包提供的是opencv-460.jar对应 4.6.0和一套本地动态库想让 Maven 管理它常见做法有两条选择依据取决于你在开发期还是部署期。2.1 两种依赖引入路线官方 jar 与 javacv 封装第一种是直接把官方 jar 安装进本地 Maven 仓库用mvn install:install-file命令完成mvn install:install-file \ -Dfileopencv-460.jar \ -DgroupIdorg.opencv \ -DartifactIdopencv \ -Dversion4.6.0 \ -Dpackagingjar这段命令把 jar 注册成org.opencv:opencv:4.6.0之后在pom.xml里按普通坐标引用即可。注意 install-file 只解决了 Java 包装类的依赖管理同目录下的opencv_java460.dll或libopencv_java460.so仍然需要手动拷贝到运行环境这也是这条路线最容易被忽略的一步。第二种是使用org.bytedeco的 javacv 封装坐标写法如下dependency groupIdorg.bytedeco/groupId artifactIdjavacv-platform/artifactId version1.5.9/version /dependencyjavacv 会自动拉取对应平台的本地库并在运行时解压加载开发期体验好很多。代价是javacv-platform会带入 Windows、Linux、macOS 三套二进制包体庞大生产部署时通常要按平台裁剪。两条路线的取舍如下表对比项官方 jar install-filejavacv-platform本地库来源手动拷贝 dll/so 并配置路径自动下载并解压打包体积小只含所需平台大含多平台二进制离线部署需要自管 native 文件需要裁剪多余平台适用场景生产环境精确控制本地开发快速跑通如果你的 maven 配置文件settings.xml配了阿里云仓库镜像javacv 的依赖也能正常拉取但镜像只解决 jar 下载解决不了 native 库与 Java 包装器版本不一致的问题。无论走哪条路线都要保证opencv-460.jar里的 Java API 和opencv_java460.dll来自同一个发行包否则会出现UnsatisfiedLinkError。2.2 本地库加载时机静态块优先加载 OpenCV 的时机比想象中更重要。常见的错误写法是等到第一次请求到达时才加载并发请求同时触发类初始化容易产生重复加载或库未就绪的偶发异常。稳妥的做法是在应用启动最早的阶段完成加载public class Application { static { // javacv 方案从 classpath 找并加载共享库 nu.pattern.OpenCV.loadShared(); // 官方 jar 方案替换为下面这行 // System.loadLibrary(Core.NATIVE_LIBRARY_NAME); } public static void main(String[] args) { // 这里创建的任何 Mat 对象都保证库已就绪 SpringApplication.run(Application.class, args); } }OpenCV.loadShared()是 javacv 提供的快捷方法它负责在 classpath 中定位平台相关的本地库、解压到临时目录并完成加载使用官方 jar 时改用System.loadLibrary(Core.NATIVE_LIBRARY_NAME)。把加载逻辑放进主类静态块能保证 Spring 容器创建任何 Bean 之前库已经可用。加载完成后可以打印Core.getVersionString()做一次显式校验避免后续报错时还要猜版本。向 OpenCV 接入过程会遇到的另一个坑是 Spring Boot DevTools。DevTools 的热重启会创建新的类加载器native 库已被前一个类加载器加载过二次加载会直接抛Library already loaded in another classloader。Demo 阶段涉及图像功能时建议先把 DevTools 关掉跑通再说。2.3 最小验证读图、转灰度、写回磁盘依赖和加载就绪后用一个最小流程验证整条链路是否通顺String inputPath src/main/resources/test.jpg; String outputPath target/gray.jpg; Mat src Imgcodecs.imread(inputPath); Mat gray new Mat(); Imgproc.cvtColor(src, gray, Imgproc.COLOR_BGR2GRAY); Imgcodecs.imwrite(outputPath, gray); System.out.println(OK - Core.getVersionString());imread返回一个空的 Mat 时不会抛异常只会在读文件失败时静默返回空对象所以写完后要判断src.empty()。灰度转换用COLOR_BGR2GRAY而非COLOR_RGB2GRAY因为 OpenCV 默认按 BGR 通道顺序读取图像这个顺序错误是初学者最容易踩的坑。能跑通这一步后面的车牌定位、人脸检测才有基础。3. 车牌识别预处理、检测与字符识别的三段式管线车牌识别是整个 Demo 中最能体现「传统图像处理配合深度学习」的任务。它可以拆成三个环节先从复杂背景里定位车牌区域再把车牌区域内的字符切出来或整体送入模型最后输出汉字、字母、数字的识别结果。每一段都有独立的调参空间和失败模式。3.1 定位颜色特征与几何轮廓如何取舍车牌定位最常见的做法有两种。第一种是颜色特征法把图像转到 HSV 空间用inRange过滤出蓝色或黄色像素再做形态学闭运算连接字符区域最后用轮廓筛选确定车牌框。第二种是边缘几何法对灰度图做 Sobel 垂直边缘检测二值化后直接用轮廓的长宽比和面积过滤。如果场景是停车场出入口这类可控位置我一般先上颜色特征法参数直观、调试快。复杂背景、光照不均匀的抓拍图垂直边缘法更稳。预算允许且要处理多角度多车型时直接换开源的车牌检测模型基于 YOLO 或 SSD 的权重把前三步压缩成一次推理。Demo 阶段从颜色特征法起步能帮你把 HSV 和形态学操作练熟。3.2 HSV 滤波与形态学连接的参数细节定位段的核心代码可以这样写Mat hsv new Mat(); Imgproc.cvtColor(src, hsv, Imgproc.COLOR_BGR2HSV); Mat mask new Mat(); // 蓝色车牌常用范围抓拍图像偏暗时把 S 和 V 下限调低 Core.inRange(hsv, new Scalar(100, 80, 60), new Scalar(124, 255, 255), mask); Mat kernel Imgproc.getStructuringElement(Imgproc.MORPH_RECT, new Size(9, 3)); Imgproc.morphologyEx(mask, mask, Imgproc.MORPH_CLOSE, kernel); ListMatOfPoint contours new ArrayList(); Imgproc.findContours(mask, contours, new Mat(), Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_SIMPLE);为什么在 HSV 里做颜色过滤而不是 RGB车牌颜色受光照影响时RGB 三个通道会联动漂移HSV 把色相独立出来H 通道对光照的敏感度远低于 RGB。形态学闭运算的核选9x3矩形目的是把字符之间的缝隙连成连通域核太宽会把旁边的车灯融进来太窄则字符断开、车牌变成多个碎片。RETR_EXTERNAL只取最外层轮廓避免把字符轮廓也算进候选集。轮廓筛选的宽高比和面积占比是这里最有价值的两个参数for (MatOfPoint contour : contours) { Rect rect Imgproc.boundingRect(contour); double ratio rect.width / (double) rect.height; double areaRatio rect.area() / (double) src.size().area(); if (ratio 2.0 ratio 4.8 areaRatio 0.003 areaRatio 0.05) { Mat plate src.submat(rect); Imgcodecs.imwrite(target/plate_ rect.x _ rect.y .jpg, plate); } }标准小型车蓝牌宽高比约 3.14:1新能源绿牌更宽一点大型车黄牌短边较宽所以区间放到 2.04.8 比较稳。面积占比0.0030.05过滤掉远处小目标和车身大面积反光区域。调这两个值比调 HSV 阈值见效快也是第一次跑 Demo 时最值得动手试一试的地方。3.3 字符识别OCR 服务化还是内置 ONNX 模型车牌区域裁出来后字符识别有三条可选路线。直接调用部署好的 OCR 服务最简单Java 侧只发 HTTP 请求识别质量交给服务端自己用 PaddleOCR 或轻量 CNN 训练一个字符分类模型导出成 ONNX 后用 onnxruntime 的 Java API 内置推理适合要求离线部署的场景OpenCV 自带的 KNN 分类器只能作为演示兜底对汉字支持通常不够。Demo 阶段推荐走内置 ONNX 路线能顺便把深度学习推理链路在 Java 侧跑通。OrtEnvironment env OrtEnvironment.getEnvironment(); OrtSession session env.createSession(plate_cnn.onnx, new OrtSession.SessionOptions()); OnnxTensor tensor OnnxTensor.createTensor(env, inputData); OrtSession.Result result session.run(Map.of(input, tensor)); float[][] output (float[][]) result.get(0).getValue(); int cls argmax(output[0]); String plateChar CHAR_TABLE[cls]; System.out.println(识别结果: plateChar);inputData是把车牌图像缩放归一化后的 float 数组尺寸要与模型输入节点一致不能随手填一个。CHAR_TABLE是从训练集导出的「索引到字符」映射表必须与模型训练时保持一致模型训练用到的省份汉字集合推理代码里要能一字不差地对应上这里出错的现象是数字字母全对、汉字全乱。session 创建成本高要在服务启动时初始化并复用。3.4 调参表与中间结果可视化如果把整个流程跑在服务器上OpenCV 的imshow是没有窗口可用的。常见做法是往临时目录写中间图片通过接口暴露出来查看。现象原因调整方向车牌与车身连成一块闭运算核过大核宽从 9 降到 57夜间蓝色车牌检不出H/S/V 阈值过严降低 S、V 下限或先做 CLAHE 增强黄牌完全不识别只过滤了蓝色增加黄色分支后对两个 mask 取或轮廓数量爆炸二值化后噪声多先高斯模糊再加大面积下限3.4.1 中间结果的归档位置调试代码里建议把mask、候选轮廓裁剪图统一写到target/debug/{时间戳}/每次参数调整后对比同一张测试图的输出比只看最终识别率更直观。写文件时文件名里带上原图坐标方便反查是哪一次轮廓筛选出的结果。4. 人脸识别与证件识别多模型服务的 Spring Boot 封装车牌识别解决的是「这是什么」人脸识别还要回答「这是谁」。证件识别则是在固定版面上做字段定位和内容提取。三者的模型形态不同放进 Spring Boot 服务时需要一个统一的封装思路让 Controller 不依赖 OpenCV 类型。4.1 人脸识别Haar 检测加特征向量比对人脸识别在 Demo 里可以拆成两段。检测段用 OpenCV 自带的 Haar 级联分类器成本低、效果好于多数人的预期比对段用深度学习模型做人脸特征向量提取用余弦相似度判断是否同一个人。CascadeClassifier faceDetector new CascadeClassifier( haarcascade_frontalface_default.xml); Mat gray new Mat(); Imgproc.cvtColor(src, gray, Imgproc.COLOR_BGR2GRAY); MatOfRect faces new MatOfRect(); faceDetector.detectMultiScale(gray, faces, 1.1, 5, 0, new Size(60, 60), new Size(400, 400));detectMultiScale的参数直接影响召回率与误检率scaleFactor1.1表示检测窗口每轮缩放 10%值越小检测越精细、耗时越长minNeighbors5要求候选框被至少 5 个邻近窗口确认调大可以压误检minSize过滤掉小于 60x60 的目标避免远处的背景纹理被当成脸。Haar 模型对侧脸和遮挡基本无能为力Demo 阶段够用真实场景应换成基于深度学习的检测模型。特征比对的部分常见做法是把 FaceNet 或 ArcFace 导出为 ONNX复用上一章提到的 onnxruntime 推理链路double cosine dot(featureA, featureB) / (norm(featureA) * norm(featureB)); boolean samePerson cosine 0.68; // 阈值按模型和数据集调整置信度阈值不是通用常量。FaceNet 系模型阈值通常在 0.70.8 之间ArcFace 输出的余弦距离阈值低一些约 0.30.5。没有标准答案的前提下用一批人工标注的「本人/非本人」样本对画 ROC 曲线再定值是比拍脑袋更稳的做法。4.2 证件识别模板定位加字段裁剪证件识别与车牌、人脸最大的差异是版面固定。身份证的姓名、号码、住址位置是固定的所以核心任务变成「先定位证件区域再按比例裁剪字段」。Mat template Imgcodecs.imread(idcard_template.png); Mat result new Mat(); Imgproc.matchTemplate(src, template, result, Imgproc.TM_CCOEFF_NORMED); Core.MinMaxLocResult m Core.minMaxLoc(result); Point topLeft m.maxLoc; // 定位到证件左上角后按模板比例切出号码区域送 OCR Rect idNumberRect new Rect( (int) (topLeft.x src.cols() * 0.35), (int) (topLeft.y src.rows() * 0.55), (int) (src.cols() * 0.35), (int) (src.rows() * 0.12)); Mat idNumberArea src.submat(idNumberRect);matchTemplate对旋转和尺度变化很敏感适合拍摄位固定的自助机或高拍仪场景。手机随手拍的照片必须先做透视矫正流程是找证件四角、计算getPerspectiveTransform矩阵、然后warpPerspective拉正再走模板匹配。字段裁剪比例来自真实身份证的版面测量不同版本证件略有差异建议自己的样本上多测几张再定比例。OCR 出的身份证号属于敏感数据日志里禁止打印完整号码Demo 里也应做脱敏处理。4.3 四层架构里图像代码放哪一层Spring Boot 常规的 Controller、Service、Repository 分层里图像识别代码最容易放错位置的是 Controller 直接持有 Mat。Mat 是 native 内存对象既不能被序列化返回给前端也不应该穿过业务边界。我一般会在 Service 下面单独加一层识别 Provider把 OpenCV 和 ONNX 的细节全部封进去public interface PlateRecognizer { PlateResult recognize(byte[] imageBytes); } RestController RequestMapping(/api/recognize) public class RecognizeController { private final PlateRecognizer plateRecognizer; PostMapping(/plate) public PlateResult plate(RequestPart(file) MultipartFile file) throws IOException { return plateRecognizer.recognize(file.getBytes()); } }接口入参用byte[]而不是MultipartFile是为了保留从消息队列或对象存储取图复用的空间。识别结果是普通 POJO字段里放车牌字符串、置信度、定位框坐标方便前端直接渲染。推理模型的线程安全也是一个容易漏的点。ONNX 的OrtSession可以并发调用但CascadeClassifier这类 OpenCV 对象在多线程下并不安全。常见做法是用线程池并发时每个线程持有一个独立的检测器实例或者用 ThreadLocal 包一层。服务对外提供的接口如下接口方法入参返回/api/recognize/platePOSTmultipart 图片车牌号、置信度、定位框/api/recognize/facePOSTmultipart 图片人脸框列表、特征向量/api/recognize/idcardPOSTmultipart 图片姓名、身份证号、置信度5. 用批量测试脚本验证识别效果定位失败样本模型接进服务只是开始真正决定 Demo 能不能拿去演示的是「一批图里到底能对几张」。逐个用 Postman 点接口看不出问题分布我一般会准备一个带标注的小数据集再用脚本批量跑一遍。数据集目录按场景组织标注信息放在 CSV 里命名规则要能区分场景test-data/ plates/ expected.csv day/001_京A12345.jpg night/002_京B67890.jpgexpected.csv每行对应一张图字段为文件名、期望车牌号、是否包含车牌。批量调用脚本用 curl 就够了#!/usr/bin/env bash mkdir -p result for img in $(find test-data -name *.jpg); do curl -s -F file$img \ http://localhost:8080/api/recognize/plate \ result/$(basename $img .jpg).json done循环里每张图单独发一次请求串行执行虽然慢但对 Demo 来说足够。跑完把每个 JSON 里的车牌字段与expected.csv比对统计三类指标漏检没有返回车牌、误检框住了非车牌区域、识别错误框对了、字错了。这三类错误的常见占比能直接告诉你要调哪一段——漏检多半在定位环节识别错误则回到字符模型和图像质量。验证脚本里还有一个小技巧值得保留在结果比对阶段把失败样本按类别归档到单独目录同时把该样本的中间产物mask、车牌裁剪图一并拷过去。之后调参只需要打开debug/失败时间戳/里的图片回放不用再回现场抓图。图像识别这类依赖光照和角度的任务失败样本的复现能力就是调试效率。如果某一批图片的 HSV 阈值调顺了别忘了回到第二章的配置类里把阈值提取成可配置项下一个现场环境多半要重新标定。本文还有配套的精品资源点击获取