(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210750226.8 (22)申请日 2022.06.28 (71)申请人 南京信息 工程大学 地址 210044 江苏省南京市浦口区宁六路 219号 (72)发明人 叶振兴　庄建军　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 王艳秋 (51)Int.Cl. G06V 40/10(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 20/40(2022.01) G06V 20/52(2022.01) G06V 20/62(2022.01) (54)发明名称 基于深度学习的电动车骑行者头盔检测与 车牌识别方法 (57)摘要 本发明公开一种基于深度学习的电动车骑 行者头盔检测与车牌识别方法， 属于图像、 视频 智能分析技术领域， 包括自建电动车骑行者头盔 与车牌检测数据集； 构建基于改进YOLOv5m的检 测模型， 并用电动车骑行者头盔与车牌检测数据 集对模型进行训练； 对检测的电动车车牌进行分 割矫正， 将分割矫正后的车牌图片进行数据增强 建立车牌识别数据集； 构建基于改进CRNN的电动 车车牌识别模 型， 并用车牌识别数据集对模型进 行训练； 将实时交通路口视频输入到训练好的模 型， 检测骑行者头盔佩戴情况并显示骑行者未带 头盔的电动车车牌号等步骤。 本发 明解决了传统 检测识别方法准确率低、 运行速度慢的问题， 降 低了多目标情况下模型的漏检率， 提高了电动车 车牌的识别准确率。 权利要求书2页 说明书5页 附图3页 CN 115147869 A 2022.10.04 CN 115147869 A 1.一种基于深度学习的电动车骑行者头盔检测与车牌识别方法， 其特征在于， 所述方 法包括以下步骤： 步骤一、 自建电动车骑行者头盔与车牌检测数据集； 步骤二、 构 建基于改进YOLOv5m的检测模型， 并用电动车骑行者头盔与车牌检测数据集 对模型进行训练； 步骤三、 对检测结果中电动车车牌进行分割矫正， 将分割矫正后的车牌图片进行数据 增强建立车牌识别数据集； 步骤四、 构建基于改进CRNN的电动车车牌识别模型， 并用车牌识别数据集对模型进行 训练； 步骤五、 将实时交通路口视频输入到训练好的模型， 在视频中检测骑行者未带头盔的 情况， 显示 骑行者未 带头盔的电动车 车牌号。 2.根据权利要求1所述的一种基于深度学习的电动车骑行者头盔检测与车牌识别方 法， 其特征在于， 所述步骤一中数据集的采集选择 交通路口的交通环境作为研究背 景， 基于 春季、 夏季、 秋季以及冬季， 选择骑行者不同衣服的场景对骑行的电动车图片进行拍摄采 集。 3.根据权利要求1所述的一种基于深度学习的电动车骑行者头盔检测与车牌识别方 法， 其特征在于， 所述步骤一中针对拍摄数据集不充足且存在样本不平衡的问题， 通过增加 图片亮度、 进 行随机旋转、 减小图片亮度、 进 行随机裁剪、 添加噪声等数据增强算法， 对拍摄 的数据集进行扩充， 得到自建电动车骑行者头盔与车牌检测数据集。 4.根据权利要求1所述的一种基于深度学习的电动车骑行者头盔检测与车牌识别方 法， 其特征在于， 所述步骤二中在YOLOv5m模 型检测小目标与中等目标的Neck部位加入CBAM 注意力模块， 让YOLOv5m模型对中小目标信息的通道特征进行关注， 来增强YOLOv5m模型对 中小目标的检测能力。 5.根据权利要求1所述的一种基于深度学习的电动车骑行者头盔检测与车牌识别方 法， 其特征在于， 所述步骤二中将GIoU  Loss用CIoU  Loss进行替换， 使得CIoU  Loss作为目 标边界框回归损失函数， 从而增强目标边界框回归的稳定性， 提高目标预测的准确率， 将级 联NMS用DI oU‑NMS进行替换， 降低目标拥挤情况 下的漏检率。 6.根据权利要求1所述的一种基于深度学习的电动车骑行者头盔检测与车牌识别方 法， 其特征在于， 所述步骤三中对 车牌图片的检测是通过基于改进的Y OLOv5m检测模 型进行 检测的， 然后通过仿射变换对倾斜的电动车车牌进行矫正处理， 电动车车牌的数量需要通 过增加图片亮度、 进行随机旋转、 减小图片亮度、 进行随机裁剪、 添加噪声等数据增强算法 进行扩充。 7.根据权利要求1所述的一种基于深度学习的电动车骑行者头盔检测与车牌识别方 法， 其特征在于， 所述步骤四中构建基于 改进CRNN的电动车车牌识别模型是将CTPN文字检 测模型与CRNN文字识别模型融合在一起， 在进行CRNN文字识别之前进行CTPN文字检测， CTPN文字检测模型将电动车车牌的两行或者一行文字 分别检测出来， 送入CRNN电动车车牌 识别模型中。 8.根据权利要求1所述的一种基于深度学习的电动车骑行者头盔检测与车牌识别方 法， 其特征在于， 所述步骤五中将 基于改进Y OLOv5m检测模型对视频中电动车骑行者头盔佩权　利　要　求　书 1/2 页 2 CN 115147869 A 2戴情况进行检测， 若骑行者未佩戴头盔且电动车有车牌， 则对视频中骑行者头部与电动车 车牌进行标记， 将基于改进YOLOv5m检测模型检测的结果送入基于改进CRNN的电动车车牌 识别模型， 对输入的车牌进行识别， 并将识别出的车牌 号在视频中进行显示。权　利　要　求　书 2/2 页 3 CN 115147869 A 3