(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211046142.2 (22)申请日 2022.08.30 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区新 街口 街道四牌楼 2号 (72)发明人 高康　张皓炜　李瑆泽　杨震　 吴刚　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 石艳红 (51)Int.Cl. G06V 30/146(2022.01) G06V 30/14(2022.01) G06T 7/73(2017.01) G06V 30/148(2022.01)G06V 30/24(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于集成式深度学习的轮胎压印字符识别 通用算法 (57)摘要 本发明公开了基于集成式深度学习的轮胎 压印字符识别通用算法， 包括步骤为： 利用高帧 率相机捕捉来往车辆图像； 利用YOLO ‑V5网络识 别图像中的轮胎并定位， 通过相机自动对焦与放 大重新拍摄被定位轮胎的完整清晰图像； PSENet 网络能实现多形态、 弯曲以及倒置字符的识别定 位； 字符正位旋转； 采用CRNN网络和BLS TM网络相 结合的方法， 对矩形字 符中的每个标识符均进行 识别。 本系统能对车辆移动字 符方向旋转和夜间 行驶光线昏暗的条件下的短时间内定位出轮胎 侧壁压印字符的位置， 并进行文本识别， 可用于 收费站与单车道两侧对轮胎型号的快速拍照识 别， 从而进行进 一步处理， 如变形检测、 超重检测 等； 其成本小、 精度高、 速度快、 自动化 程度高。 权利要求书2页 说明书7页 附图4页 CN 115457561 A 2022.12.09 CN 115457561 A 1.一种基于集成式深度学习的轮胎压印字符识别通用算法， 其特征在于： 包括如下步 骤： 步骤1、 采集车辆侧面图像： 采用高速相机对静止或运动中车辆的侧面图像进行采集； 步骤2、 拍摄 轮胎字符图像， 包括如下步骤： 步骤21、 轮胎定位： 高速相机根据步骤1采集的车辆图像， 进行轮胎识别与定位； 步骤22、 轮胎对焦： 根据定位的轮胎位置， 对轮胎进行自动对焦， 获取轮胎侧壁图像： 步骤23、 拍摄轮胎字符图像： 对轮胎侧壁图像中含有字符的区域进行放大拍摄， 得到设 定矩形尺寸的轮胎字符图像； 步骤3、 字符定位： 对轮胎字符图像中的字符进行定位； 步骤4、 字符变正位： 对字符定位后的轮胎字符图像， 取轮胎中心点为原点， 以竖直向上 方向为旋转基线； 对轮胎字符图像中的字符进行旋转， 直至 字符变为 正位； 步骤5、 分割字符图像： 将变为正位的字符从轮胎字符图像中进行裁剪， 形成扇形的正 位字符图像； 步骤6、 阈值处理： 将扇形正位字符图像， 依次进行滤波去噪、 阈值处理和等比缩放， 得 到设定扇形尺寸的灰度化 正位字符图像； 步骤7、 字符形态处理： 将设定扇形尺寸的灰度化正位字符图像， 通过坐标转换的方式 展开成矩形字符； 步骤8、 标识符识别： 采用CRNN网络和BLSTM网络相 结合的方法， 对步骤7获得的矩形字 符中的每 个标识符均进行识别。 2.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法， 其特征 在于： 步骤8中， CRN N网络和BLSTM网络相结合， 识别标识符的方法， 具体包括如下步骤： 步骤81、 构建CRNN网络： CRNN网络的输入为矩形字符， CRNN网络将矩形字符转换为设定 尺寸的512个特征图， 并按从左至右顺序输出每个特征图的特征向量序列； 其中， 每个特征 向量序列 均包括若干个特 征向量， 每 个特征向量的宽 ×高尺寸分别为16 0像素×32像素； 步骤82、 构 建BLSTM网络： BLSTM网络的输入为所有特征图的特征向量序列， 输出为从左 至右按顺序排列的标识符； 步骤83、 标识符识别： 将步骤7形成的矩形字符， 输入步骤81构建的CRNN网络中， 并将 CRNN网络的输出作为BLSTM网络的输入， 经过步骤82构建的BLSTM网络进行学习， 进而得到 从左至右按顺序排列的标识符。 3.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法， 其特征 在于： 步骤1中， 将高速相机安装在收费站或单 车道道路的两侧， 实现对车辆图像的采集。 4.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法， 其特征 在于： 步骤21中， 采用YOLO ‑V5网络实现对步骤1采集车辆图像的轮胎识别与定位； 其中， YOLO‑V5网络在搭建时所采用的样本数据集， 应选取500张以上昏暗环境下的车辆照片和 500张以上光照充足条件下的车辆照片， 通过lableimg应用在车辆图像中用矩形框选出轮 胎， 并储存成xml文件； 经过YOLO ‑V5网络对轮胎特征进行学习、 测试与验证， 学习准确率能 达到90％以上。 5.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法， 其特征 在于： 步骤3中， 采用PSENet网络实现对轮胎字符图像中的字 符定位； 其中， PSENet网络在搭权　利　要　求　书 1/2 页 2 CN 115457561 A 2建时所采用的样本数据集的获取方法为： 分别选取500张以上光线充足字符清晰、 存在字 符 磨损的轮胎照片和光线昏暗条件下拍摄的轮胎字符图像， 通过lableme工具从文字区域的 左上位置开始， 沿文字轮廓按顺时针顺序， 经过文字区域的右下位置， 在 文字轮廓上方与下 方各用不含左上与右下位置的7个点勾勒目标， 生成字符定位的样本数据集； PS ENet网络对 昏暗条件下的轮胎字符和存在磨损的轮胎字符， 学习准确率能达 到85％以上。 6.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法， 其特征 在于： 步骤4中字符变正 位的方法， 具体包括如下步骤： 步骤41、 建立坐标系： 取轮胎中心点为原点O， 取图片中轮胎最上方点为基准点A， 以位 于竖直向上 方向的OA连线为0角度的旋转基线， 建立笛卡尔直角坐标系； 步骤42、 计 算旋转角 将字符定位后的轮胎字符图像的中心记为点B(xB,yB)， 将OA以顺 时针方向转到OB的夹角记为旋转角 则旋转角 的计算公式为： 步骤43、 字符旋转： 将字符定位后的轮胎字符图像， 顺时针旋转步骤42 计算的旋转角 从而使得轮胎字符图像中的字符变为 正位。 7.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法， 其特征 在于： 步骤6中的阈值处 理采用OpenCV阈值 化处理。 8.根据权利要求1所述的基于集成式深度学习的轮胎压印字符识别通用算法， 其特征 在于： 步骤7中， 在同一笛卡尔直角坐标下， 设扇形灰度化正位字符图像上任意一点D的坐标 为(x,y)， 点D在矩形字符中的坐标为(X,Y)， 则(X,Y)与(x,y)满足如下转换关系式： x＝cx+(R‑Y)·sin(X/R) y＝cy‑(R‑Y)·cos(X/R) 式中， cx,cy为扇形灰度化正位字符图像的圆心的横纵坐标值； R为扇形灰度化正位字符 图像的外径。权　利　要　求　书 2/2 页 3 CN 115457561 A 3