(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210684734.0 (22)申请日 2022.06.16 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市江干经济开发 区2号大街9 28号 (72)发明人 吕文涛　余序宜　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 10/776(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种针对复杂场景的高效瑕疵检测方法 (57)摘要 本发明公开了一种针对复杂场景的高效瑕 疵检测方法。 方法包括： 建立扩展瑕疵图像数据 集； 划分为训练集和验证集和测试集； 获得增强 训练集； 聚类得到 先验框； 搭建改进YOL Ov5模型； 基于增强训练集训练， 其中每轮使用验证集验证 精度； 重复训练直到验证集上精度值收敛， 保存 当前权重； 基于所得权重在测试集上计算各个织 物瑕疵类别的平均精度均值； 将待检测图像输入 以进行瑕疵的检测定位。 本发明方法解决了模型 在复杂场景下检测中存在的特征不对齐、 复杂背 景干扰和跨层特征缺乏交互的问题， 检测精度和 效率具有较大优势， 很好地满足了实际复杂场景 中的实时性要求。 权利要求书5页 说明书13页 附图5页 CN 115049619 A 2022.09.13 CN 115049619 A 1.一种针对复杂场景的高效瑕疵检测方法， 其特 征在于： 方法包括如下步骤： S1、 采集若干织物图像， 建立织物图像数据集， 将织物图像数据集根据织物的瑕疵类别 进行织物瑕疵数据标注处理， 每张织物图像上均通过织物瑕疵数据标注处理获得织物图像 上的织物的若干织物瑕疵的目标GT框， 进而获得标注织物图像， 若干标注织物图像建立标 注织物图像数据集； 将标注织物图像数据集加入织物图像数据集中建立扩展织物图像数据 集， 扩展织物图像数据集包括若干张扩展织物图像； S2、 按照预设比例将扩展织物图像数据集划分为训练集和 测试集； S3、 将训练集进行数据增强处理， 获得增强训练集， 增强训练集中包括若干张增强扩展 织物图像； S4、 使用Kmeans聚类算法对步骤S3中的各张增强扩展织物图像的所有目标GT框进行 聚 类， 得到K个先验框； S5、 搭建改进YOLOv5模型； 改进YOLOv5模型包括依次连接的主干网络CSPDarknet_s、 对 齐密集特 征金字塔网络AD ‑FPN、 自适应特 征净化模块AFPM和阶段性特 征重分布模块PFRM； S6、 选取增强训练集中的X张增强扩展织物图像输入改进YOLOv5模型中进行训练， 针对 每张增强扩展织物图像， 均输出N张训练预测特 征图； S7、 针对每张增强扩展织物图像的N张训练预测特征图， 将步骤S4中的K个先验框均匀 分布到N张训练预测特征图上， 并根据训练预测特征图的图像信息将K个先验框调整为K个 训练预测框， 根据增强扩展织物图像上的各个目标GT框选取若干训练预测框作为训练候选 框； S8、 根据步骤S7中的各个训练候选框和各个目标GT框计算改进YOLOv5模型的整体损失 值， 并使用梯度下降法更新改进YOLOv5模型的参数， 获得参数 更新的改进YOLOv5模型； S9、 针对增强训练集中的每 张增强扩展织物图像重 复步骤S6 ‑S8进行处理， 当次重复选 取的增强训练集中的X张增强扩展织物图像输入上一次重复步骤S8后参数更新的改进 YOLOv5模型中处理， 已选取处理过的增强扩展织物图像不进行重复选取， 直至增强训练集 中的所有的增强扩展织物图像均输入参数更新的改进Y OLOv5模型 处理过， 获得此时的改进 YOLOv5模型作为预训练改进YOLOv5模型； S10、 将验证集输入预训练改进YOLOv5模型中进行处理， 验证集 中包括若干 张扩展织物 图像， 针对验证集中的每张扩展织物图像， 均输出N张验证预测特征图； 对N张验证预测特征 图进行步骤S7中处理N张训练预测特征图的相同的处理， 获得若干验证预测框， 根据扩展织 物图像的各个目标GT框选取若干验证预测框作为验证候选框； 根据各个验证候选框和扩展 织物图像的各个目标GT框计算验证集中各个织物瑕疵类别的平均 精确度AP， 并计算所有平 均精确度AP的平均精确度均值mAP； S11、 重复步骤S9 ‑S10， 直至多次获得的平均精确度均值mAP等于一个固定值， 获得此时 的预训练改进YOLOv5模型作为训练完成的改进YOLOv5模型； S12、 获取若干待检测织物图像， 建立待检测织物图像数据集， 将待检测织物图像数据 集输入步骤S11 中训练完成的改进YOLOv5模 型中进行 处理， 针对每张待检测织物图像， 均输 出N张检测预测特征图， 对N张检测预测特征图进行步骤S7中处理N张训练预测特征图的相 同的处理， 获得若干检测预测 框； 使用非极大值抑制NMS去除若干检测预测框中的冗余框， 最终保留的检测预测框作为最终预测框； 根据N张检测预测特征图和待检测 织物图像之间权　利　要　求　书 1/5 页 2 CN 115049619 A 2的比例关系， 将最终预测框映射至待检测织物图像中进行织物瑕疵的检测定位。 2.根据权利要求1所述的一种针对 复杂场景的高效瑕疵检测方法， 其特征在于： 所述的 步骤S1中， 针对织物图像数据集中的每张织物图像， 织物瑕疵数据标注处理具体为对织物 图像中的每个织物瑕疵进 行类别和位置的数据标注， 即在每个织物瑕疵上标注 一个目标GT 框； 每个目标GT框被标记为(class， xmin， ymin， xmax， ymax)， class表示目标GT框内所含织 物瑕疵的类别， xmin和ymin分别表示目标GT框左上角顶点的x坐标和y坐标， xmax和ymax表 示目标GT框右下角顶点的x坐标和y坐标； 其中织物瑕疵共包括九种类别： 缝头sewing、 缝头印sewing  print、 褶皱scrimp、 虫沾 bug、 织疵flaw、 色差 color shade、 漏印mis s print、 破洞ho le和网折fo ld。 3.根据权利要求1所述的一种针对 复杂场景的高效瑕疵检测方法， 其特征在于： 所述的 步骤S3中， 将训练集进 行数据增强处理， 训练集中包括若干张扩展织物图像， 数据增强处理 具体为使用Mosaic数据增强对 各张扩展织物图像进 行数据增强处理， 从而获得若干张增强 织物图像， 将各张增强织物图像加入训练集中， 建立增强训练集， 增强训练集包括若干张增 强扩展织物图像。 4.根据权利要求2所述的一种针对 复杂场景的高效瑕疵检测方法， 其特征在于： 所述的 步骤S4中， 使用Kmeans聚类算法对步骤S3中的增强训练集的各张增强扩展织物图像的所有 目标GT框进行聚类， 具体为根据各个目标GT框的数据标注获取所有目标GT框的宽和高， 使 用Kmeans算法根据各个目标GT框的宽和高对增强训练集中的所有目标GT框进行聚类， 得到 K个聚类中心坐标， 以K个聚类中心坐标分别作为宽和高构成K个先验框 。 5.根据权利要求1所述的一种针对 复杂场景的高效瑕疵检测方法， 其特征在于： 所述的 步骤S5中， 搭建改进YOL Ov5模型； 改进YOL Ov5模型包括依次连接的主干网络CSPDarknet _s、 对齐密集特征金字塔网络AD ‑FPN、 自适应特征净化模块AFPM和阶段性特征重分布模块 PFRM， 具体如下： a)主干网络 CSPDarknet_s： 主干网络CSPDarknet_s包括依次连接的五层瓶颈层， 第一层瓶颈层中包括一个卷积 层， 第二至四层瓶颈层中均包括依 次连接的一个卷积层和一个瓶颈模块C3， 第五层瓶颈层 中包括依次连接的一个卷积层、 一个瓶颈模块C3和一个快速空间金字塔池化模块SPPF； 主 干网络CSPDar knet_s的输入依次经五层瓶颈层中处理后尺度逐层减小， 第三至五层瓶颈层 的输出均 作为主干网络 CSPDarknet_s的输出； 瓶颈模块C3包括第一1 ×1卷积层、 n个依次连接的瓶颈结构模块Bottleneck、 第二1 ×1 卷积层、 第三1 ×1卷积层和第一融合函数Concat， 瓶颈模块C3的输入分别输入至第一1 ×1 卷积层和第三1 ×1卷积层进行处理， 第一1 ×1卷积层的输出依次输入至n个依次连接的瓶 颈结构模块Bottleneck和第二1 ×1卷积层处理， 第二1 ×1卷积层处理的输出和第三1 ×1卷 积层处理的输出共同经过第一融合函数Concat处理后输出， 输出结果作为瓶颈模块C3的输 出； 其中， 第二至五层尺度层中的瓶颈模块C3中包含的瓶颈结构模块Bottleneck的数目n分 别为1、 2、 3和1； b)对齐密集特 征金字塔网络AD ‑FPN： 对齐密集特征金字塔网络AD ‑FPN包括三层尺度层和两层过渡层， 第一和三层尺度层中 均包括依次连接的一个融合函数Concat和一个瓶颈模块C3， 第二层尺度层中包括一个渐进权　利　要　求　书 2/5 页 3 CN 115049619 A 3