(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221072086 5.X (22)申请日 2022.06.24 (71)申请人 西南科技大 学 地址 621010 四川省绵阳市涪城区青龙 大 道中段59号 (72)发明人 李自胜　王露明　肖晓萍　 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/762(2022.01) G06V 10/25(2022.01) G06V 10/40(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种工件表面 缺陷检测方法 (57)摘要 本发明提供了一种工件表 面缺陷检测方法。 所述工件表面缺陷检测方法： 通过改进YOLOv3 ‑ tiny网络， 得到适用于工件表面缺陷检测的网络 Defect‑YOLOv3‑tiny， 利用K ‑Means算法生成工 件表面缺陷的锚框， 运用Defect ‑YOLOv3‑tiny提 取工件表面缺陷特征， 检测工件表面缺陷。 本发 明的有益效果可包括： 该方法有效提高了目标检 测精度， 减少漏检率。 权利要求书3页 说明书4页 附图3页 CN 114972321 A 2022.08.30 CN 114972321 A 1.YOLOv3 ‑tiny网络改进方法， 其特 征在于： 在YOLOv3 ‑tiny骨干网络的卷积层conv6后添加SPP模块， 在conv8后增加卷积核通道 数， 在YOLOv3 ‑tiny颈部网络的每个concat层之后增加SE模块， 将 颈部网络输出的特征图与 浅层特征图融合， 并增 加检测分支， 得到 工件表面 缺陷检测网络Defect ‑YOLOv3‑tiny； 所述YOLOv3 ‑tiny是一种轻量级目标检测网络； 所述骨干网络是YOLOv3 ‑tiny用于提取目标 特征的子网络； 所述conv6是YOLOv3 ‑tiny骨干网络第6个卷积层； 所述SPP模块， 空间金字塔池化 （Spatial  Pyramid Pooling， SPP） 模块， 是采用不同大 小池化核， 对输入特 征图进行池化， 并在通道方向上拼接的模块； 所述conv8是YOLOv3 ‑tiny骨干网络第8个卷积层； 所述卷积核是对图像进行 卷积运算以提取图像特 征的一组模板参数； 所述卷积核通道数是卷积核个数， 一个3x3x6的卷积核， 3x3卷积核大小， 6是卷积核通 道数， 卷积运 算会生成6张特 征图， 便于6张二维图像进行堆叠； 所述在conv8后增加卷积核通道数是将conv8的卷积核通道数， 从512个增加到1024个， 即将卷积核3 ×3x512改变为卷积核3 ×3x1024； 所述concat层， concat即堆叠， 是对相同大小特征图进行特征拼接层， 即进行通道合并 的层； 所述SE模块， 通道注意力模块 （Squeeze ‑and‑Excitation  Blocks， SE） ， 是为不同通道 特征图赋予不同权 重的网络模块； 所述颈部网络是YOLOv3 ‑tiny用于处 理特征信息的子网络； 所述浅层是YOLOv3 ‑tiny骨干网络的第二和第三卷积层； 所述将颈部网络特征图与浅层特征图融合是将颈部网络输出的特征图与骨干网络浅 层的特征图在相同通道上 逐元相加， 得到融合特 征图； 所述检测分支是用于 输出待检目标 预测信息的模块； 所述Defect ‑YOLOv3‑tiny是对网络YOLOv3 ‑tiny经改进后， 并用于工件表面缺陷检测 的卷积网络； 根据权利要求1所述YOLOv3 ‑tiny改进方法包括以下步骤： S11、 在YOLOv3 ‑tiny骨干网络的卷积层co nv6后添加S PP模块； S12、 在YOLOv3 ‑tiny骨干网络的卷积层co nv8后增加卷积核通道数； S13、 在YOLOv3 ‑tiny颈部网络的每 个concat层之后增 加SE模块； S14、 将YOLOv3 ‑tiny颈部网络输出的特 征图与浅层特 征图融合； S15、 增加检测分支。 2.工件表面 缺陷检测方法， 其特 征在于： 利用K‑Means算法生成工件表面缺陷的锚框， 运用卷积网络Defect ‑YOLOv3‑tiny提取 工件表面 缺陷特征， 检测工件表面 缺陷。 所述工件表面 缺陷是指工件表面存在影响工件外观或质量的划痕、 油污和凹痕； 所述锚框是人为预设、 包围缺陷的边界预选框， 锚框由一组参数表达， 包括预选框 中心 横坐标， 预选 框中心纵坐标， 预选 框的宽， 预选 框的高； 所述利用K ‑Means算法生成工件表面缺陷的锚框是利用K ‑Means算法对工件表面缺陷权　利　要　求　书 1/3 页 2 CN 114972321 A 2数据集标注的标签进行聚类， 得到一组用于预测 划痕、 油污和脏 污缺陷目标的参数； 所述运用Defect ‑YOLOv3‑tiny卷积网络提取工件表面缺陷特征， 是用Python语言将 Defect‑YOLOv3‑tiny网络编写为软件， 将工件表面缺陷图像数据集输入软件， 提取工件表 面缺陷图像的特 征； 根据权利要求2所述工件表面 缺陷检测方法包括以下步骤： S21、 设定聚类参数 K=9， 利用K ‑Means算法生成适用于 工件表面 缺陷的锚框； S22、 用训练数据集训练Defect ‑YOLOv3‑tiny网络， 得到拟合训练集的网络参数； S23、 加载网络参数， 用测试 数据集对Defect ‑YOLOv3‑tiny进行测试； 用训练数据集训练Defect ‑YOLOv3‑tiny网络包括以下步骤： S2201、 设置初始学习率α=0.001， 动量momentum=0.9， 权重衰减系数γ=0.0005， batchsize=16， 交并比IOU （Intersection ‑over‑Union） 的阈值为Tiou=0.5， 全体图像样本 训练次数 epochs=100； S2202、 用公共数据集ImageNet数据集预训练YOLOv3 ‑tiny网络， 得到YOLOv3 ‑tiny骨干 网络的预训练权 重参数； S2203、 加载YOLOv3 ‑tiny骨干网络预训练权 重参数； S2204、 输入工件表面 缺陷数据集， 将图像的高和宽调整为 416×416大小； S2205、 将工件表面缺陷数据集的训练集、 验证集与测试集 （训练集、 验证集与测试集比 例为8:1:1） 分成batc hsize张一批； S2206、 向Defect ‑YOLOv3‑tiny网络输入一批图像； S2207、 对图像采用水平翻转、 随机 裁剪和随机 仿射进行增强处 理； S2208、 用每张图像样本训练网络； S2209、 完成一次批内样本迭代(iterati on)训练； S2210、 重复步骤S2 206， 直至训练完所有分批图像； S2211、 完成一次所有样本 （1个epoc h） 训练； S2212、 重复步骤S2 204， 直至训练完所有epoc hs； S2213、 得到Defect ‑YOLOv3‑tiny网络参数； 加载网络参数， 用测试 数据集对Defect ‑YOLOv3‑tiny进行测试包括以下步骤： S2301、 加载Defect ‑YOLOv3‑tiny网络参数； S2302、 输入表面 缺陷数据集的测试集； S2303、 计算每张图像的预测框与原图像锚框的重合度交并比ti ou； S2304、 比较ti ou与Tiou大小， ti ou>Tiou， 则预测成功， 记录 本次预测结果； S2305、 预测完所有图像， 根据记录结果， 计算精准 率P （Precisi on） 和召回率 （Recal l） ； S2306、 画出PR （Precision ‑Recall） 曲线图， 在峰值点向左 画一条线和上一个峰值的垂 线相交， 与横轴和纵轴形成封闭的图形， 计算出 此面积即为AP （Avera ge Precision） ； S2307、 计算所有类别的AP， 然后求 其均值即为mAP， C为类别数。 S2308、 记录测试集检测所用时间T； S2309、 统计测试集图片数frameNum；权　利　要　求　书 2/3 页 3 CN 114972321 A 3