(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211012822.2 (22)申请日 2022.08.23 (71)申请人 华北电力大 学 （保定） 地址 071003 河北省保定市永华北 大街619 号 (72)发明人 赵振兵　吕雪纯　翟永杰　赵文清　 (74)专利代理 机构 北京鑫瑞森知识产权代理有 限公司 1 1961 专利代理师 马云华 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/762(2022.01) G06V 10/82(2022.01) G06V 20/17(2022.01)G06V 20/60(2022.01) (54)发明名称 一种解耦知识蒸馏金具目标检测方法及系 统 (57)摘要 本发明涉及一种解耦知识蒸馏金具目标检 测方法及系统， 方法包括： 分别根据数据集标注 框在第一模型和第二模型对标注数据集进行解 耦， 得到前景目标区域和背景区域， 以确定金具 的目标种类概率， 并根据目标种类概率确定共有 特征评分掩码； 根据共有特征评分掩码和特征图 分类得分图确定第一蒸馏损失函数； 基于全局上 下文模块， 根据确定特征图构建第二蒸馏损失函 数； 根据各蒸馏损失函数确定总损失函数， 并根 据总损失函数对第二模型进行训练， 以对待测金 具图像进行目标检测。 本发明利用不同种类金具 的共有形状特征， 采用解耦知识蒸馏方法， 针对 前景目标区域， 将属于金具之间独特的共有特征 用于目标分类的信息整合起来迁移到小模型， 提 升了金具检测精度。 权利要求书3页 说明书11页 附图5页 CN 115359295 A 2022.11.18 CN 115359295 A 1.一种解耦知识蒸馏金 具目标检测方法， 其特 征在于， 包括： 分别根据 数据集标注框在第 一模型和第 二模型对标注数据集进行解耦， 对应得到第 一 前景目标区域、 第一背 景区域、 第二前景目标区域和第二背 景区域； 所述标注数据集包括多 张已标注的金 具航拍图像； 所述第一模型的参数量和性能均大于所述第二模型； 根据所述第 一前景目标区域和所述第 一背景区域确定金具的目标种类概率， 并根据 所 述目标种类概 率确定共有特 征评分掩码； 根据所述共有特征评分掩码、 所述第 一模型和所述第 二模型在特征图金字塔网络的特 征图分类得分图和预设卷积函数确定第一蒸馏损失函数； 基于全局上下文模块， 根据 所述第一前景目标区域和所述第 一背景区域确定的第 一特 征图以及所述第二前景目标区域和所述第二背景区域确定的第二特征图构建第二蒸馏损 失函数； 根据所述第 一蒸馏损失函数和所述第 二蒸馏损失函数确定总损失函数， 并根据 所述总 损失函数对所述第二模型进行训练， 得到训练好的第二模型； 所述训练好的第二模型用于 对待测金 具图像进行目标检测。 2.根据权利要求1所述的解耦知识蒸馏金具目标检测方法， 其特征在于， 所述分别根据 第一模型和第二模型对获取到的标注数据集进行解耦， 对应得到第一前景目标区域、 第一 背景区域、 第二前 景目标区域和第二背景区域， 包括： 构建标注数据 集； 所述标注数据 集中包括带有ground ‑truth框的所述金具航拍图像以 及标注信息； 基于所述标注数据集， 将金 具目标以所述ground ‑truth框为边界进行图像解耦； 设计二进制掩码， 并根据所述二进制掩码控制特征图是否属于前景目标区域或背景区 域。 3.根据权利要求2所述的解耦知识蒸馏金具目标检测方法， 其特征在于， 所述二进制掩 码的公式为： 其中， M(i,j)为所述二进制掩码， i为第一模型或第二模型的特 征金字塔网络生成的特征图的水平方向的坐标， j为第一模型或第二模型 的特征金字塔网 络生成的特 征图的垂直方向的坐标， G为所述ground ‑truth框。 4.根据权利要求3所述的解耦知识蒸馏金具目标检测方法， 其特征在于， 根据 所述第一 前景目标区域和所述第一背景区域确定金具的目标种类概率， 并根据所述目标种类概率确 定共有特 征评分掩码， 包括： 基于所述第一前景目标区域， 在水平和垂直方向分别为i和j的特征图内随机抽选特 征； 根据第一公式确定所述目标种类概率； 所述第一公式为： YS＝M(i,j)P(S|f)； 其中， S代表 金具的目标种类的类别数， f为所述特征； YS表示所述特征f是所述目标种 类S的概率， M(i,j) 用所述二进制掩码； 利用深度神经网络对所述目标种类概率进行建模， 得到第二公式； 所述第二公式为YS＝ M(i,j)P(S|f, θ )； 其中， θ表示 为生成参数的模型；权　利　要　求　书 1/3 页 2 CN 115359295 A 2基于所述第 二公式， 聚合所有类别的所述目标种类概率， 得到共有特征评分； 所述共有 特征评分的公式为 其中， F′为所述共有特 征评分； 根据所述共有特征评分确定共有特征评分掩码； 所述共有特征评分掩码的公式为： 其中， F为所述共有特征评分掩码； s'作为样本来表示所 有的金具对象S， s'∈[1,s ]。 5.根据权利要求4所述的解耦知识蒸馏金具目标检测方法， 其特征在于， 所述根据 所述 共有特征评分掩码、 所述第一模型和所述第二模型在特征图金字塔网络的特征图分类得分 图和预设卷积函数确定第一蒸馏损失函数， 包括： 根据所述共有特征评分掩码确定评分标准掩码； 所述评分标准掩码的公式为： 其中， FT为所述评分标准掩码， Ys'T为所述第一模型 的分类得分图， θT为所述第 一模型分类头对金具的分类结果， ， fT为输入到所述第一模型分 类头的特 征； 利用所述特征金字塔网络每一层的聚合分类得分图作为共有特征评分掩码； 所述共有 特征评分掩码的公式为： 其中， Fk为所述第一模型的第k层特征图金字塔网络 在通道C上的共有特征评分掩码， YkCT为所述第一模型在第k层， 通道数为C特征金字塔网络 的分类得分图； 根据所述预设卷积函数、 所述共有特征评分掩码和所述评分标准掩码确定所述第 一蒸 馏损失函数； 所述第一蒸馏损失函数的公式为： 其中， Lfront为所述第一蒸馏损失函 数， n表示 特征图金字塔网络总的层数， k代表特征图金字 塔的第k层， (i,j)表 示特征图的位置， 宽度为W， 高度为H， l表 示通道的总数， C表 示相应的通 道， Fk(i,j)为在位置为(i,j)的共有特征评分掩码， Nk为所有特征图共有特 征评分掩码的总和， fadap函数为使所述第一模型和所述第二模型通道相适应的所述预设卷 积函数， FT kC(i,j)和FS kC(i,j)分别为所述第一模型和所述第二模型在特征图金字塔网络相应 层， 相应通道， 同一 位置特征图分类得分图。 6.根据权利要求5所述的解耦知识蒸馏金具目标检测方法， 其特征在于， 所述第 二蒸馏 损失函数的公式为： Lrela＝ μ∑(R(FT)‑R(FS))2； 其中， Lrela为所述第二蒸馏损失函数， μ为平衡损失函数的超参数， FT， FS分别为所述第 一模型和所述第二模型生成的特征图， R为不同模型对某一金具目标捕获的金具目标和背 景区域的关系信息， R的公式为： 其中Wv1， Wv2， Wk分别为第一线性变换矩阵、 第二线性变换矩阵和第三线性变换矩阵， Fi为输入实例的特征权　利　要　求　书 2/3 页 3 CN 115359295 A 3