(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221024327 7.1 (22)申请日 2022.03.11 (71)申请人 西安交通大 学 地址 710049 陕西省西安市碑林区咸宁西 路28号 (72)发明人 张雪涛　郑博涵　聂明显　张奇　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 何会侠 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06K 9/62(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 基于深度学习和自注意力机制的道路缺陷 检测方法 (57)摘要 本发明公开了一种基于深度学习和自注意 力机制的道路缺陷检测方法， 1、 选取包含纵向裂 纹、 横向裂纹、 网状裂纹、 坑陷的公开道路缺陷数 据集， 并划分出训练集、 验证集和测试集； 2、 基于 单阶段目标检测方法搭建道路缺陷检测神经网 络模型， 网络最终输出为图像上预测的缺陷类别 以及位置； 3、 使用训练集训练道路缺陷检测神经 网络模型， 得到道路缺陷检测模型； 4、 对于输入 的道路图像， 采用道路缺陷检测模 型得到多个检 测结果， 再将重复的检测结果使用非极大值抑制 算法过滤， 最终得到图像中道路缺陷的类别以及 位置。 本发明基于自注意力机制， 通过不同阶段 特征图的融合提高了道路缺陷检测的精度， 解决 道路缺陷尺寸和形状变化大影响检测平均准确 率的问题。 权利要求书2页 说明书5页 附图3页 CN 114596291 A 2022.06.07 CN 114596291 A 1.一种基于深度学习和自注意力机制的道路缺陷检测方法， 包括如下步骤： 步骤A： 选取包含纵向裂纹、 横向裂纹、 网状裂纹、 坑陷的公开道路缺陷数据集， 将数据 集划分为训练集、 验证集和 测试集； 步骤B： 搭建道路缺陷检测神经网络模型， 网络最终输出为图像上预测的缺陷类别以及 位置； 步骤C： 使用步骤A得到的训练集训练道路缺陷检测神经网络模型， 得到适用于道路缺 陷检测任务的道路缺陷检测模型； 步骤D： 将车载摄像机拍摄的道路图像输入步骤C中得到的道路缺陷检测模型中， 进行 多次检测， 然后对检测出的多个道路缺陷检测结果使用非极大值抑制的方法将重复的检测 结果删除， 得到更准确的道路缺陷检测结果。 2.根据权利要求1所述的一种基于深度学习和自注意力机制的道路缺陷检测方法， 其 特征在于： 所述 步骤B的具体步骤如下： 步骤B01： 道路缺陷检测神经网络模型使用DarkNet53网络作为骨干网络， 并在骨干网 络后添加金字塔网络与检测 网络； 将骨干网络的第四、 第十四、 第十层中的特征图X1、 X2、 X3， 分别送入 金字塔网络的第十七、 第二十层、 第二十三层中， 其中， X1、 X2、 X3具有不同的尺 度， 分别是4倍下采样， 8倍下采样， 16倍下采样， 与之对应的金字塔网络的第十七、 第二十 层、 第二十三层中的特征图也具有不同的尺度， 分别是8倍下采样， 16倍下采样， 32倍下采 样； 步骤B02： 将步骤B01中送入特征金字塔的特征图X1、 X2、 X3， 与金字塔 网络第十三层、 第 十七层、 第二十层中原本的特征图Y1、 Y2、 Y3进行融合； 先采用自顶向下的融合方式， 将X1、 X2、 X3作为上级特征图， 统称为X， 将Y1、 Y2、 Y3作为下级特征图， 统称为Y， 后续步骤中上级特 征图X与下级特征图Y的计算都看做是X1与Y1、 X2与Y2、 X3与Y3的计算； 假设X的尺寸为B*2C* 1/2H*1/2W， Y的尺寸为B*C*H*W， 其中B、 C、 H、 W分别为批次大小、 通道数、 特征图长、 特征图 宽； 首先将X通过1*1卷积将通道数从C扩展到C*4， 再通过亚像素卷积对 X进行2倍上采样， 使 X尺寸变为与Y同样的B*C*H*W， 再通过3*3的可形变卷积层对 X提取特征， 提取特征后的特征 图依然记作X； 步骤B03： 对步骤B02中提取特征后的特征图X与Y通过1*1卷积拟合线性关系后， 展开成 两个大小为(H*W)*C的矩阵， 分别记作q、 k； 其中q矩阵与k矩阵的长为H*W， 宽为C， 并同时为q 矩阵额外 保留独立的副本， 记作v； 将q与k进行矩阵相乘， 得到长为H*W， 宽为H*W的矩阵w， 再 将w与v进行矩阵相乘， 得到长为H*W， 宽为C的矩阵r， 最后将矩阵r重塑为长为H， 宽为W， 通道 数为C的特 征图， 记作空间分支特 征图F1； 步骤B04： 将步骤B02中提取特征后的特征图X与Y通过1*1卷积拟合线性关系后， 展开成 两个大小为(H*W)*C的矩阵， 分别记作q、 k； 其中q矩阵与k矩阵的长为H*W， 宽为C， 再将q矩阵 转置， 成为长为C， 宽为H*W的矩阵， 将转置后的新矩阵记作q1， 并同时为这个q1矩阵额外保留 独立的副本， 记作v1； 将q1与k进行矩阵相乘， 得到长为C， 宽为C的矩阵w1， 再将w1与v1进行矩 阵相乘， 得到长 为C， 宽为H*W的矩阵r1， 最后将矩阵r1重塑为长 为H， 宽为W， 通道数为C的特征 图， 记作通道分支特 征图F2； 步骤B05： 将步骤B03与步骤B04分别得到的空间分支特征图F1、 通道分支特征图F2与步 骤B02中的特征图Y， 三者进 行级联后得到新的长为H， 宽为W， 通道数为C*3的特征图， 再将此权　利　要　求　书 1/2 页 2 CN 114596291 A 2特征图通过1*1卷积降低通道数至C后得到新特征图， 此新特征图替代步骤B02中的下级特 征图Y， 故将这个新特 征图记为Y； 步骤B06： 采用自底向上的方式， 将步骤B05中得到的新下级特征图Y与原来步骤B02中 的上级特征图X进行特征融合： 首先， 将Y通过3*3的可形变卷积下采样后， 得到长为H/2， 宽 为W/2， 通道数为C的新特征图Z， 将Z与X直接级 联后得到新的长为H/2， 宽为W/2， 通道数为C* 3的特征图Z1， 将特征图Z1通过1*1卷积将通道数从C*3降低为C*2， 得到长为H/2， 宽为W/2， 通道数为C*2的新特征图， 此新特征图替代 步骤B02中的上级 特征图X， 故将这个新特征图记 为X； 步骤B07： 步骤B06中的新特征图X， 其实际包括了三个不同尺度的特征图： 4倍下采样的 X1， 8倍下采样的X2， 16倍下采样的X3， 将这 三个不同尺度的特 征图送入检测层进行检测； 步骤B08： 在检测层网络中对输入的4倍下采样特征图， 8倍下采样特征图以及16倍下采 样特征图， 分别使用广义交并比损失函数计算道路缺陷位置的矩形框损失， 使用交叉熵损 失函数计算置信度和道路缺陷类别损失后， 能分别得到原始图像中小尺度道路缺陷、 中尺 度道路缺陷， 大尺度道路缺陷的缺陷类别以及位置 。 3.根据权利要求1所述的一种基于深度学习和自注意力机制的道路缺陷检测方法， 其 特征在于： 步骤A中将数据集划分为80％的训练集、 10％的验证集和10％的测试集。权　利　要　求　书 2/2 页 3 CN 114596291 A 3