(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210263162.9 (22)申请日 2022.03.17 (71)申请人 齐鲁工业大学 地址 250353 山东省济南市长清区大 学路 3501号 (72)发明人 李爱民　刘笑含　刘腾　李稼川　 刘德琦　 (74)专利代理 机构 济南圣达知识产权代理有限 公司 372 21 专利代理师 黄海丽 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意力和关系检测的孪生网络目标跟 踪方法及系统 (57)摘要 本发明公开了基于注意力和关系检测的孪 生网络目标跟踪方法及系统， 获取视频序列， 将 第一帧作为模板图像， 当前帧作为搜索图像； 在 模板分支和搜索分支中， 将模板图像和搜索图像 输入到网络中， 进行特征提取； 采用注意力模块 对最后三层提取的特征分别进行特征增强处理， 将增强处理得到的模板和搜索 注意力特征， 对应 输入到目标跟踪模块中得到分类和回归结果； 将 分类和回归 结果分别进行加权融合， 得到融合后 的分类和回归结果； 基于融合后的回归结果， 输 入到关系检测器中以度量回归结果中目标和预 测图像的关系， 得到回归分支的分数图； 将回归 分支的分数图与分类分支的分数图进行点乘， 将 点乘结果经过卷积操作， 得到最后的分类得分， 并获取的预测框 。 权利要求书3页 说明书6页 附图11页 CN 114821390 A 2022.07.29 CN 114821390 A 1.基于注意力和关系检测的孪生网络目标跟踪方法， 其特 征是， 包括： 获取视频序列， 将第一帧作为模板图像， 当前帧作为搜索图像； 在模板分支中， 将模板图像输入到ResNet ‑50骨干网络中， 进行特征提取； 采用注意力 模块对最后三层提取的特 征分别进行 特征增强处 理， 得到三个模板注意力特 征； 在搜索分支中， 根据前一帧的跟踪结果裁剪出搜索图像， 将搜索图像输入到ResNet ‑50 骨干网络中， 进行特征提取； 采用注意力模块对最后三层提取的特征分别进行特征增强处 理， 得到三个搜索注意力特 征； 将三个模板注意力特征和三个搜索注意力特征， 分别对应输入到目标跟踪模块 Siamese RPN中得到三个分类结果和三个回归结果； 将三个分类结果和三个回归结果分别 进行加权融合， 得到融合后的分类结果和融合后的回归结果； 基于融合后的回归结果， 输入到关系检测器中以度量 回归结果中目标和预测图像的关 系， 得到回归分支的分数图； 将回归分支的分数图与分类分支的分数图进 行点乘， 以过滤掉 背景中的干扰； 将过滤掉干扰的分数图经过卷积操作， 得到最后的分类得分， 并获取最大响 应位置对应的预测框 。 2.如权利要求1所述的基于注意力和关系检测的孪生网络目标跟踪方法， 其特征是， 所 述采用注意力模块对最后三层提取的特征分别进 行特征增强处理， 得到三个模板注意力特 征； 具体是指： 对ResNet ‑50网络中的covn3_x层、 covn4_x层、 covn5_x层提取的特征f3(z)、 f4(z)、 f5 (z)用注意力模块进行 特征增强， 生成模板注意力特 征f3(z’)、 f4(z’)、 f5(z’)。 3.如权利要求1所述的基于注意力和关系检测的孪生网络目标跟踪方法， 其特征是， 所 述采用注意力模块对最后三层提取的特征分别进 行特征增强处理， 得到三个搜索注意力特 征； 具体包括： 对ResNet ‑50网络中的covn3_x层、 covn4_x层、 covn5_x层提取的特征f3(x)、 f4(x)、 f5 (x)用注意力模块进行 特征增强， 生成搜索注意力特 征f3(x‘)、 f4(x‘)、 f5(x‘)。 4.如权利要求1所述的基于注意力和关系检测的孪生网络目标跟踪方法， 其特征是， 所 述注意力模块， 工作原理： 将从ResNet ‑50骨干网络中提取的的特征图分成多个组， 采用通道分离， 分成两个分支 并行处理各组的子特 征； 对于通道注意力分支， 使用全局平局池化生成通道统计量， 用一对参数来缩放和移动 通道向量； 对于空间注意力分支， 使用group  norm生成空间统计量， 用类似于通道注意力分支生 成相关特征； 然后将两个分支结合起来； 随后 将所有子特征聚集； 使用通道混合实现不同子 特征之间的通信； 最后输出注意力特 征。 5.如权利要求4所述的基于注意力和关系检测的孪生网络目标跟踪方法， 其特征是， 对 于通道注意力分支， 首先， 利用全局平局池化来嵌入全局信息， 从而生成通道统计量s∈RC /2G×1×1， 其中统计量可以通过通道维度H ×W来收缩Xk1计算: 权　利　要　求　书 1/3 页 2 CN 114821390 A 2然后， 获得通道 注意力的最终输出： X′k1＝σ(Fc(s))·Xk1＝σ(W1s+b1)·Xk1 其中， σ(·)＝sigmoid( ·)， Fc(x)＝Wx+b， Xk∈RC/2G×1×1， b1∈RC/2G×1×1是用来缩放和位移 s的参数； 对于空间注意力分支， 首先， 使用Group  Norm来获取空间统计信息Xk2， 然后采用Fc(·) 来增强 的表示， 最终空间注意力的输出通过以下 方式: X′k2＝σ(W2·GN+b2)·Xk2； 其中， W2,b2∈RC/2G×1×1； 最后， 将两个分支 链接起来， 使通道数和输入数相同： X′k1＝[X′k1,X′k2]∈RC/G×H×W； 在此之后， 将所有子特 征聚集； 最后， 采用一个 类似于Shuf fleNet V2的通道混合实现跨组信息交流。 6.如权利要求4所述的基于注意力和关系检测的孪生网络目标跟踪方法， 其特征是， 将 三个模板注意力特征和三个搜索注意力 特征， 分别对应输入到目标跟踪模块Siamese  RPN 中得到三个分类结果和三个回归结果； 将三个分类结果和三个回归结果分别进行加权融 合， 得到融合后的分类结果和融合后的回归结果； 是指： 将第i个模板注意力特征和第i搜索注意力特征输入到SiamRPN++中的第i目标跟踪模 块Siamese  RPN中， 得到第i分类结果和第i回归结果； 其中， i的取值 为1到3； 将三个分类结果和三个回归结果分别进行加权 融合， 得到 融合后的分类结果和融合后 的回归结果。 7.如权利要求6所述的基于注意力和关系检测的孪生网络目标跟踪方法， 其特征是， 基 于融合后的回归结果， 输入到关系检测器中 以度量回归结果中目标和预测图像的关系， 得 到回归分支的分数图； 具体包括： 先提取模板特 征并通过感兴趣区域池化ROIpo oling操作， 提取ROI特 征； 后续帧对回归分支响应图的每个位置都预测一个框， 提取其ROI特征， 与目标模板的 ROI特征共同送入到关系检测模块中； 关系检测器是由三个检测器组成， 每一个检测器最终生成一个匹配分数来度量回归结 果中目标和预测图像的关系分数； 将三个分数进行加权平均得到回归分支的分数图。 8.如权利要求7所述的基于注意力和关系检测的孪生网络目标跟踪方法， 其特征是， 所 述关系检测器， 包括： 用于学习全局信息的全局检测器， 用于捕捉像素级和深度级的局部检 测器， 以及用来学习深度非线性度量且建立 一对多的块检测器； 其中， 全局检测器， 将目标和预测图像的ROI特征拼接后做全局池化， 经过若干层全连接层得 到全局分数； 局部检测器， 将两个ROI特征做深度 互相关Depth ‑wise cross correlation得到局部 分数； 块检测器， 将两个ROI特 征拼接后经 过若干卷积得到块分数。 9.如权利要求7所述的基于注意力和关系检测的孪生网络目标跟踪方法， 其特征是， ResNet‑50骨干网络、 注意力模块、 Siamese  RPN模块和关系检测模块共同组成了目标跟踪权　利　要　求　书 2/3 页 3 CN 114821390 A 3