(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210428383.7 (22)申请日 2022.04.22 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 (72)发明人 李迎港　孙季丰　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 郑宏谋 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/25(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多任务的自监督目标检测方法、 系统、 装置及介质 (57)摘要 本发明公开了一种基于多任务的自监督目 标检测方法、 系统、 装置及介质， 其中方法包括： 对目标检测数据集图像中的目标生成自监督标 签， 构建训练集； 在目标检测模型上加入针对多 尺度目标区分任务和最邻近目标预测任务两个 自监督辅助任务的输出模块； 根据训练集， 通过 多任务学习的方式训练目标检测模 型； 获取待检 测图像， 使用训练后的目标检测模 型对待检测图 像进行目标检测， 识别出图像中的待检测物体。 本发明通过多尺度目标区分任务和最邻近目标 预测任务， 使目标检测模型充分学习图像中各个 目标之间的大小尺度关系以及目标之间的类别 关系， 有效提升目标检测模型的识别性能。 本发 明可广泛应用于深度学习、 计算机视觉技术领 域。 权利要求书3页 说明书10页 附图2页 CN 114758298 A 2022.07.15 CN 114758298 A 1.一种基于多任务的自监 督目标检测方法， 其特 征在于， 包括以下步骤： 对目标检测数据集图像中的目标生成自监 督标签， 构建训练集； 在目标检测模型上加入针对多尺度目标区分任务和最邻近目标预测任务两个自监督 辅助任务的输出模块； 根据训练集， 通过多任务学习的方式训练目标检测模型； 获取待检测图像， 使用训练后的目标检测模型对待检测图像进行目标检测， 识别出图 像中的待检测物体。 2.根据权利要求1所述的一种基于多任务的自监督目标检测方法， 其特征在于， 所述目 标检测模型需要同时学习三个任务： 目标检测任务、 多尺度目标区分任务和 最邻近目标预 测任务； 通过对多尺度目标区分任务的学习， 帮助目标检测模型学习到图像中目标之间的大小 尺度关系； 通过对最邻近目标预测任务的学习， 帮助目标检测模型学习到图像中的目标和 与之邻近的目标之间的类别关系。 3.根据权利要求2所述的一种基于多任务的自监督目标检测方法， 其特征在于， 所述对 多尺度目标区分任务采用已有的真实锚框标注信息来构造监 督信号： 对于图像x, 为图像x中的真实锚框， 对于图像x中的锚框 用K+1维向量 ys来表示为多尺度目标区分任务 生成的自监 督标签； 如果锚框b周围不存在其 他类别锚框， 那么ys[0]＝1； 否则ys[0]＝0， 并且有： ys[i]＝S(b') 式中， i＝1～K， K为待检测目标类别数， S表示锚框b'对应区域的像素面积； 锚框b'满 足： 式中， D表示两个锚框中心点之间的距离； 对ys进行归一 化可得： 对于锚框b来 说， 其自监督标签ys表示该锚框与其周围邻近的各个类别锚框之间的尺度 关系， ys[i]的值越大， 说明类别i对应目标的尺度相对更大， ys[i]的值越小， 说明类别i对应 目标的尺度相对更小。 4.根据权利要求2所述的一种基于多任务的自监督目标检测方法， 其特征在于， 所述对 最邻近目标 预测任务采用已有的真实锚框标注信息来构造自监 督信号： 对于图像x， 为图像x中的真实锚框， 对于锚框 最邻近目标预测任务的 自监督标签用K+1 维向量yc来表示； 如果图像中只存在和b同属一个 类别的锚框， 那么yc[0]＝1； 否则yc[0]＝0， 并且有： 式中， R为图像x的对角线长度， 锚框b'满足：权　利　要　求　书 1/3 页 2 CN 114758298 A 2对于锚框b来 说， 其自监督标签yc[i]的值越大， 说明类别i对应的锚框与锚框b之间的距 离越近。 5.根据权利要求2所述的一种基于多任务的自监督目标检测方法， 其特征在于， 采用多 任务损失函数训练所述目标检测模型， 以端到端的方式训练目标检测模型。 6.根据权利要求5所述的一种基于多任务的自监督目标检测方法， 其特征在于， 所述多 任务损失函数为各个模块的损失函数的加权和； 对于多尺度目标区分任务， 采用交叉熵损失函数： 式中， Nb为候选框 生成网络RPN生成的正候选框的个数， 表示为第j个 正候选框生成的 多尺度目标区分任务真实标签， 为网络输出的预测值； 对于最邻近目标 预测任务， 同样采用交叉熵损失函数： 式中， 表示第j个正候选框的最邻近目标预测任务真实标签， 表示网络输出的预 测值； 所述目标检测任务的损失函数为： Lmain＝Lrpn+Lcls+Lreg 式中， Lrpn为RPN网络损失， Lcls为目标分类损失， Lreg为边界框回归损失； 所述目标检测模型的损失函数为： Ltotal＝Lmain+λsLs+λcLc 式中， λs和 λc为权重值。 7.根据权利要求2所述的一种基于多任务的自监督目标检测方法， 其特征在于， 所述使 用训练后的目标检测模型对待检测图像进行目标检测， 包括： 目标检测任务和两个自监督辅助任务共享ROI池化层的输出特征， 在得到ROI池化特征 后， 针对不同的任务有不同的输出模块； 其中目标检测任务的输出模块包含两个部分： 边框分类以及边框回归， 两个辅助任务 的输出模块只包 含针对辅助任务自监 督标签的预测输出层。 8.一种基于多任务的自监 督目标检测系统， 其特 征在于， 包括： 数据获取模块， 用于对目标检测数据集图像中的目标生成自监 督标签， 构建训练集； 模型构建模块， 用于在目标检测模型上加入针对多尺度目标区分任务和最邻 近目标预 测任务两个自监 督辅助任务的输出模块； 模型训练模块， 用于根据训练集， 通过多任务学习的方式训练目标检测模型； 目标检测模块， 用于获取待检测图像， 使用训练后的目标检测模型对待检测图像进行 目标检测， 识别出图像中的待检测物体。 9.一种基于多任务的自监 督目标检测装置， 其特 征在于， 包括：权　利　要　求　书 2/3 页 3 CN 114758298 A 3