(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210975290.6 (22)申请日 2022.08.15 (71)申请人 浙江理工大 学 地址 310018 浙江省杭州市江干经济开发 区2号大街9 28号 (72)发明人 郑雨婷　吕文涛　娄翔飞　王成群　 徐伟强　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 林超 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于OCRA -YOLOv5的织物图像瑕疵 检测 方法 (57)摘要 本发明公开了一种基于OCRA ‑YOLOv5模型的 织物图像瑕疵检测方法。 方法包括： 建立扩展织 物图像数据集； 搭建OCRA ‑YOLOv5模型； 计算模型 的整体损失值并更新参数； 计算织物瑕疵类别的 平均精确度值； 获得训练完成的OCRA ‑YOLOv5模 型； 将待检测织物图像数据集输入处理， 保留最 终预测框并映射进行织物瑕疵的检测定位。 本发 明设计出具有一致性对齐和回归调整效果的改 进预测头OCRA  Head结构及其辅助预测头， 作为 辅助损失给浅层网络权重提供指导， 巧妙借用交 互特征实现对齐和调整， 通过降低定位和分类损 失值提高了整体的检测精度。 本发 明在检测精度 和效率指标上 都具有较大优势， 很好地满足了工 业场景中的实时性要求。 权利要求书5页 说明书11页 附图3页 CN 115330724 A 2022.11.11 CN 115330724 A 1.一种基于OCRA ‑YOLOv5的织物图像瑕疵检测方法， 其特 征在于： 包括如下步骤： S1)采集若干张带有织物瑕疵 的织物图像， 将每张织物图像依次进行织物瑕疵数据标 注和数据增强处理获得标注增强织物图像， 每张标注增强织物图像上均带有 经织物瑕疵数 据标注后获得的若干织物瑕疵的目标GT框， 将所有织物图像和增强织物图像共同构成扩展 织物图像数据集， 扩展织物图像数据集包括若干张扩展织物图像； 使用Kmeans++聚类算法 将扩展织物图像数据集中的各张扩展织物图像上 的所有目标GT框进行聚类， 得到K个先验 框； S2)按照预设比例将扩展织物图像数据集进行划分， 获得训练集和验证集； S3)搭建OCRA‑YOLOv5模型； S4)训练集中包括M张扩展织物图像， 选取训练集中的X张扩展织物图像输入OCRA ‑ YOLOv5模 型中进行 处理， 针对每张扩展织物图像， 均输出两组训练预测特征图集， 每组训练 预测特征图集中均包括 N张训练预测特 征图； S5)针对每组训练预测特征图集中的N张训练预测特征图， 将步骤S2)中的K个先验框均 匀分布到N张训练预测特征图上， 根据训练预测特征图对K个先验框进行调整， 每个先验框 均经调整获得一个训练预测框， 根据目标GT框选取各个训练预测框中的若干训练预测框作 为训练候选 框； S6)根据两组训练预测特征 图集获得的各个训练候选框和目标GT框计算OCRA ‑YOLOv5 模型的整体损失值， 将整体损失值反向传播至OCRA ‑YOLOv5模型中， 并使用梯度下降法更新 OCRA‑YOLOv5模型的参数， 获得参数 更新的OCRA ‑YOLOv5模型； S7)针对训练集 中的每张扩展织物图像均重 复步骤S4) ‑S6)进行处理， 当次选取的训练 集中的X张扩展织物图像输入上一次重复步骤S6)后参数更新的OCRA ‑YOLOv5模型中处理， 直至训练集中所有的扩展织物图像均完成处理， 获得此时的OCRA ‑YOLOv5模型作为预训练 OCRA‑YOLOv5模型； S8)验证集中包括若干张扩展织物图像， 将验证集中的每张扩展织物图像输入预训练 OCRA‑YOLOv5模型中处理， 均输出N张验证预测特征图； 对N张验证预测特征图进行步骤S5) 中处理每组训练预测特征图集的N张训练预测特征图的相同的处理， 获得若干验证预测框， 根据目标GT框 选取各个验证预测框中的若干验证预测框作为验证候选 框； S9)根据验证候选框和目标GT框计算验证集中各个织物瑕疵类别的精确度值AP， 并计 算所有精确度值AP的平均精确度值mAP； S10)重复步骤S7) ‑S9)， 直至多次获得的平均精确度值mAP等于一个固定值， 获得此时 的预训练OCRA ‑YOLOv5模型作为训练完成的OCRA ‑YOLOv5模型； S11)采集若干张带有织物瑕疵的待检测织物图像， 将每张待检测织物图像输入训练完 成的OCRA ‑YOLOv5模型中处理， 均输出N张检测预测特征图； 对N张检测预测特征图均进 行步 骤S5)中处理每组训练预测特征图集的N张训练预测特征图的相同的处理， 获得若干检测预 测框； 使用非极大值抑制NMS去除各个检测预测框中的冗余框， 获取最 终保留的若干检测预 测框作为最终预测框； 将各个最终预测框映射至各张待检测织物图像中， 以实现织物瑕疵 的检测定位。 2.根据权利要求1所述的一种基于OCRA ‑YOLOv5的织物图像瑕疵检测方法， 其特征在 于： 所述的步骤S1)中， 将 每张织物图像依次进 行织物瑕疵数据标注和数据增强处理获得标权　利　要　求　书 1/5 页 2 CN 115330724 A 2注增强织物图像， 具体为首先对每张织物图像中的每个织物瑕疵进行类别和位置的数据标 注， 每个织物瑕疵均被一个矩形的目标GT框完全框住， 每个目标GT框被标记为(class， xmin， ymin， xmax， ymax)， class表示目标GT框内所含 织物瑕疵的类别， xmin和ymin 分别表示 目标GT框左上角顶 点的x坐标和y坐标， xmax和ymax表 示目标GT框右下角顶 点的x坐标和y坐 标； 然后使用Mosaic数据增强处 理， 最终获得标注增强织物图像； 使用Kmeans++聚类算法将扩展织物图像数据集中的各张扩展织物图像上的所有目标 GT框进行聚类， 具体为获取被数据标记的每个目标GT框的宽和高， 使用Kmeans++算法根据 每个目标GT框的宽和高对扩展织物图像数据集中的所有目标GT框进行聚类， 得到K个聚类 中心坐标， 将每个聚类中心坐标 的横坐标和纵坐标分别作为宽和高构成矩形 的先验框， 最 终构成K个先验框 。 3.根据权利要求1所述的一种基于OCRA ‑YOLOv5的织物图像瑕疵检测方法， 其特征在 于： 所述的步骤S3)中， 搭建的OCRA ‑YOLOv5模型包括主干网络Backbone、 路径聚合网络 PANet和改进预测头 部分： a)主干网络Backbo ne： 主干网络Backbone包括依次连接 的集中层Focus、 四层卷积瓶颈层和空间金字塔快速 池化模块SPPF； 每层卷积瓶颈层中均包括依次连接的卷积块CBL和瓶颈结构模块 BottleneckCSP； 第二层卷积瓶颈层、 第三层卷积瓶颈层和空间金字塔快速池化模块SPPF的 输出均作为主干网络Backbo ne的输出， 并均输入到路径聚合网络PANet中处 理； b)路径聚合网络PANet： 路径聚合网络PANet包括第一卷积块CBL、 第一融合瓶颈层、 第二卷积块CBL和第二融合 瓶颈层、 第三卷积块CBL、 第三融合瓶颈层、 第四卷积块CBL和融合卷积层， 主干网络 Backbone的空间金字塔快速池化模块SPPF的输出输入到第一卷积块CBL中处理后输出， 第 一卷积块CBL的输出经上采样后获得第一上采样结果， 第一上采样结果和主干网络 Backbone的第三层卷积瓶颈层的输出共同输入至第一融合瓶颈层中进 行处理， 处理的结果 输入第二卷积块CBL中进行处理后再经上采样处理获得第二上采样结果， 第二上采样结果 和主干网络Backbone的第二层卷积瓶颈层的输出共同输入至第二融合瓶颈层中进行 处理， 处理的结果经第三卷积块CBL处理后和第一融合瓶颈层的输出结果共同输入至第三融合瓶 颈层中处理， 处理的结果经第四卷积块CBL处理后和第一卷积块CBL的输出结果共同输入至 融合卷积层中进 行处理， 第一卷积块CBL的输出、 第一融合瓶颈层的输出、 第二上采样结果、 第二融合瓶颈层的输出、 第三融合瓶颈层的输出、 融合卷积层的输出均作为路径 聚合网络 PANet的输出， 并均输入至改进预测头 部分中处 理； 第一融合瓶颈层、 第 二融合瓶颈层和第 三融合瓶颈层中均包括依次连接的一个融合函 数Concat和瓶颈结构模块BottleneckCSP； 融合卷积层包括依次连接的一个融合函数 Concat和5个卷积层Co nv； c)改进预测头 部分： 改进预测头部分包括六个改进预测头OCRA  Head， 路径聚合网络PANet的第二上采样结 果输入到第一个 改进预测头OCRA  Head中处理， 第二融合瓶颈层的输出输入到第二个 改进 预测头OCRA  Head中处理， 第三融合瓶颈层的输出输入到第三个改进预测头OCRA  Head中处 理， 第一融合瓶颈层的输出输入到第四个改进预测头OCRA  Head中处理， 第一卷积块CBL的权　利　要　求　书 2/5 页 3 CN 115330724 A 3