(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210807113.7 (22)申请日 2022.07.11 (65)同一申请的已公布的文献号 申请公布号 CN 114882298 A (43)申请公布日 2022.08.09 (73)专利权人 东声 （苏州） 智能科技有限公司 地址 215000 江苏省苏州市自由贸易试验 区苏州片区苏州工业园区酝慧路168 号星洲大厦101、 102、 20 3、 205、 213室 (72)发明人 韩旭　颜聪　 (74)专利代理 机构 北京超成律师事务所 1 1646 专利代理师 冯洁 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 10/22(2022.01) G06T 7/73(2017.01) G06T 7/00(2017.01) G06N 3/04(2006.01) (56)对比文件 CN 113449643 A,2021.09.28 CN 112557833 A,2021.0 3.26 CN 111340096 A,2020.0 6.26 CN 113314205 A,2021.08.27 Xiaolin Zhang等.Adversarial Complementary Learn ing for Weak ly Supervised Object L ocalization. 《2018 IEEE/CVF Conference o n Computer Visi on and Pattern Recogn ition》 .2018,全 文. 审查员 曹晓彤 (54)发明名称 一种对抗互补学习模型的优化方法及装置 (57)摘要 本申请提供了一种对抗互补学习模型的优 化方法及装置， 包括： 获取第一训练集和测试集； 获取并采用第二训练集对选定的强监督定位模 型进行训练;采用第一训练集对对抗互补学习模 型进行训练后将测试集输入对抗互补学习模型， 得到测试集图片的第一定位框； 将测试集输入经 过训练的强监督定位模型， 得到测试集图片的第 二定位框； 若测试集中同一图片的第一定位框和 第二定位框的偏差超过第一阈值， 则对 该图片进 行标记， 若被标记图片 的数量超过第二阈值， 则 更新第一训练集和测试集， 继续训练对抗互补学 习模型， 直至测试集中被标记图片数量小于等于 第二阈值。 解决了现有技术中缺乏对对抗互补学 习模型的精确度进行识别并对其进行优化的方 法的问题。 权利要求书2页 说明书9页 附图4页 CN 114882298 B 2022.11.01 CN 114882298 B 1.一种对抗互补学习模型的优化方法， 其特 征在于， 包括： 步骤一： 获取由缺陷图片构成的第一缺陷数据集， 所述第一缺陷数据集中的缺陷图片 设置有缺陷类别 信息， 将所述第一 缺陷数据集划分为第一训练集和 测试集； 步骤二： 获取所述第一缺陷数据集中缺陷图片的缺陷位置信息， 基于所述第一缺陷数 据集及所述缺陷位置信息构建第二训练集， 并采用所述第二训练集对选定的强监督定位模 型进行训练； 步骤三： 采用所述第 一训练集对对抗互补学习模型进行训练并将所述测试集输入经过 训练后的所述对抗互补学习模型， 得到所述测试集 缺陷图片的第一定位框； 步骤四： 将所述测试集输入经过训练后的所述强监督定位模型， 得到所述测试集缺陷 图片的第二定位框， 所述第二定位框及第一定位框用于对所述测试集中同一缺陷图片的同 一缺陷分别进行定位； 步骤五： 比较所述测试集中缺陷图片的第一定位框和第二定位框的位置信息， 若其偏 差超过第一阈值， 则对该缺陷图片进行标记， 若被标记缺陷图片数量与所述测试集图片数 量的比值超过第二阈值， 则更新所述第一训练集及所述测试集， 重复步骤三至五， 直至测试 集中被标记缺陷图片数量与该测试集图片数量的比值小于等于所述第二阈值。 2.如权利要求1所述的对抗互补学习 模型的优化方法， 其特征在于， 所述第 一缺陷数据 集中的缺陷图片采集于同一应用场景。 3.如权利要求1所述的对抗互补学习 模型的优化方法， 其特征在于， 将所述第 一缺陷数 据集按照预设比例划分为所述第一训练集和所述测试集。 4.如权利要求1所述的对抗互补学习模型的优化方法， 其特征在于， 还包括， 缩小所述 第一缺陷数据集或所述第二训练集中缺陷图片的尺寸后， 再将其输入相应的模型。 5.如权利要求1所述的对抗互补学习模型的优化方法， 其特征在于， 还包括， 将所述第 一缺陷数据集或所述第二训练集中的彩色图片转换为灰度图片后， 再将其输入相应的模 型。 6.如权利要求1所述的对抗互补学习 模型的优化方法， 其特征在于， 所述采用所述第 一 训练集对对抗互补学习模型进行训练并将所述测试集输入经过训练后的所述对抗互补学 习模型， 得到所述测试集 缺陷图片的第一定位框， 包括： 步骤6.1： 构建对抗互补学习模型:选择ResNet18的前17层作为骨干网络， 所述骨干网 络包括五个卷积块， 其中， 第一卷积块由一个卷积层组成， 其他四个卷积块均由四个卷积层 组成； 骨干网络后连接A、 B两个分支， 每 个分支均包括 一个特征提取器和一个分类 器； 步骤6.2： 获取模型损失： 建立A、 B两个分支的损失函数， 各分支损失函数为实际输出向 量与目标输出向量的交叉熵， 模型损失为A、 B两个分支的损失之和； 步骤6.3： 训练对抗互补学习模型： 设置迭代次数、 学习率， 将所述第一训练集输入所述 对抗互补学习模型， 利用随机梯度下降算法对网络参数进行迭代更新， 根据得到的模型损 失选择最优的对抗互补学习模型； 步骤6.4： 将所述测试集输入经过训练后的对抗互补学习模型， 分别从A、 B两个分支获 得定位图， 取两个定位图对应位置的最大值得到合成定位图， 绘制合成定位图的最小外接 矩形框， 从而获取到缺陷图片上缺陷的第一定位框 。 7.如权利要求1所述的对抗互补学习 模型的优化方法， 其特征在于， 所述第 一定位框或权　利　要　求　书 1/2 页 2 CN 114882298 B 2第二定位框的位置信息包括四个维度， 分别为定位框中心点的横坐标和纵坐标， 定位框的 宽度和高度； 所述第一阈值包括分别对应于定位框中心 点的横坐标和纵坐标以及定位框的 宽度和高度的四个阈值分量。 8.如权利要求7所述的对抗互补学习 模型的优化方法， 其特征在于， 比较所述测试集中 缺陷图片的第一定位框和第二定位框的中心点的横坐标、 纵坐标， 以及两个定位框的宽度 和高度， 若 有任一维度的偏差超过 所述对应的阈值分量， 则对该缺陷图片进行 标记。 9.如权利要求1所述的对抗互补学习 模型的优化方法， 其特征在于， 更新后的第 一训练 集及测试集与更新前的第一训练集及测试集属于同一应用场景。 10.一种对抗互补学习模型的优化装置， 其特 征在于， 包括： 第一训练集构建单元， 用于获取由缺陷图片构成的第一缺陷数据集， 所述第一缺陷数 据集中的缺陷图片设置有缺陷类别 信息， 将第一 缺陷数据集划分为第一训练集和 测试集； 第二训练集构建单元， 用于获取所述第一缺陷数据集中缺陷图片的缺陷位置信息， 基 于所述第一 缺陷数据集及所述 缺陷位置信息构建第二训练集； 强监督定位模型训练单元， 用于采用所述第 二训练集对选定的强监督定位模型进行训 练； 第一定位框获取单元， 用于采用所述第 一训练集对对抗互补学习 模型进行训练并将所 述测试集输入经过训练后的所述对抗互补学习模型， 得到所述测试集缺陷图片的第一定位 框； 第二定位框获取单元， 用于将所述测试集输入经过训练后的所述强监督定位模型， 得 到所述测试集缺陷图片的第二定位框， 所述第二定位框及第一定位框用于对所述测试集中 同一缺陷图片的同一 缺陷分别进行定位； 缺陷图片标记单元， 用于比较所述测试集中缺陷 图片的第 一定位框和第 二定位框的位 置信息， 若其偏 差超过第一阈值， 则对 该缺陷图片进 行标记， 若被标记缺陷图片数量与所述 测试集图片数量的比值超过第二阈值， 则更新所述第一训练集及所述测试集， 继续训练所 述对抗互补学习模型， 获取更新后的测试集缺陷图片的第一定位框和第二定位框， 并对第 一定位框和第二定位框的位置信息偏差超过所述第一阈值的缺陷图片进 行标记， 直至测试 集中被标记缺陷图片数量与该测试集图片数量的比值小于等于所述第二阈值。权　利　要　求　书 2/2 页 3 CN 114882298 B 3