(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210107826.2 (22)申请日 2022.01.28 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 郭雨薇　范林玉　高宇鹏　杜佳勃　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 王品华 (51)Int.Cl. G06T 7/246(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) (54)发明名称 基于深度学习及多任务联合训练的多目标 跟踪方法 (57)摘要 本发明公开了一种基于深度学习及多任务 联合训练的多目标跟踪 方法， 主要解决现有基于 深度学习的多目标跟踪方法不能在联合训练中 充分训练特征提取分支， 导致跟踪结果存在大量 目标ID错误匹配情况的问题， 其实现方案为： 构 建一个深度神经网络模型； 利用多任务联合训练 方式对其进行有监督训练； 将待跟踪的视频图像 输入到训练好的模型输出检测目标及其目标完 全特征向量和目标遮挡特征向量； 再利用检测目 标对应的目标完全特征向量和目标遮挡特征向 量拼接成的目标融合特征向量， 并将其与轨迹目 标的目标融合特征向量进行匹配， 实现目标跟 踪。 本发明降低了跟踪网络错误匹配情况产生次 数， 提升了跟踪网络整体性能， 可用于安防监控、 自动驾驶及人机交 互。 权利要求书4页 说明书9页 附图4页 CN 114529581 A 2022.05.24 CN 114529581 A 1.一种基于深度学习及多任务联合训练的多目标跟踪方法， 其特 征在于， 包括： (1)构建由主干特征提取子网络、 多目标完全特征提取子网络、 多目标遮挡特征提取子 网络和多任务联合模块级联构成的深度神经网络模型； (2)获取第t帧图像Ft∈RW×H×3及其中目标边界框标签集合B∈Rn×4， 对集合B进行归一化 处理得到归一化后的目标边界框标签集合B ′， 其中， R表示实数域符号， W， H分别表 示图像的 宽， 高， n表示Ft中存在的目标个数； (3)将(2)得到的图像Ft和归一化后的目标边界框标签集合B ′输入到(1)中的深度神经 网络模型， 输出目标检测集合D∈Rn×4和目标完全特征向量集合Eg∈Rn×a与目标遮挡特征向 量集合Ep∈Rn×b， 其中， a表示目标完全特征向量的向量维度， b表示目标遮挡特征向量的向 量维度； (4)通过拼接融合策略对(3)中的目标完全特征向量集合Eg∈Rn×a和目标遮挡特征向量 集合Ep∈Rn×b进行融合， 得到目标融合特征向量集合 集合 的n个目标融合 特征向量与目标检测集合D的n个目标按照集合下标一一对应， 即集合 中的第i个目标融 合特征向量属于集 合D中的第i个目标， i∈[1， n]； (5)对目标检测集合D的目标融合特征向量集合 与目标轨迹T的目标融合特征向量集 合 计算余弦距离， 得到距离矩阵Cn×m， 其中， 目标轨迹T表示第t ‑1帧跟踪到 的m个目标 的集合， 目标轨迹T中的每个目标 都包含身份属性和目标融合特征向量， 表示目标轨迹 T中所有目标的目标融合特 征向量组成的集 合， (6)利用距离矩阵Cn×m进行检测目标与轨 迹目标的关联匹配， 实现多目标跟踪。 2.根据权利要求1所述的方法， 其特征在于， (2)中目标边界框标签集合B进行归一化处 理， 公式如下： 其中， 表示图像Ft的宽， 高， x， y表示边界框中心像素点位置， 图像Ft左上角的 像素点位置为(0， 0)， w， h表示 边界框宽高， 3.根据权利要 求1所述的方法， 其特征在于， (3)中通过深度神经网络模型输 出图像Ft上 的目标检测集 合D和目标完全特 征向量集合Eg与目标遮挡特 征向量集合Ep， 实现如下： 3a)将图像Ft输入主干特 征提取子网络得到响应图X； 3b)通过多目标完全特 征提取子网络提取响应图X的多目标完全特 征图Xg； 3c)通过多目标遮挡特征提取子网络处理响应 图X与归一化后的目标边界框标签集合 B′， 得到多目标遮挡特 征图Xp； 3d)通过多任务联合模块 处理多目标完全特征图Xg与多目标遮挡特征图Xp， 得到目标检 测集合D∈Rn×4和目标完全特 征向量集合Eg∈Rn×a与目标遮挡特 征向量集合Ep∈Rn×b。 4.根据权利要求3所述的方法， 其特征在于， 3b)中通过多目标完全特征提取子网络提 取响应图X的多目标完全特 征图Xg， 实现如下： 3b1)将响应图X输入多目标完全特征提取子网络， 得到不同卷积层输出的不同下采样权　利　要　求　书 1/4 页 2 CN 114529581 A 2程度的中间特 征图X1、 X2和X3， 该中间特 征图X1、 X2和X3分别相对于响应图X 下采样2、 4、 8倍； 3b2)将响应图X与3b1)中得到的中间特征图X1、 X2和X3进行多层特征图聚集， 得到多目 标完全特 征图Xg。 5.根据权利要求4所述的方法， 其特征在于， 3b2)将响应图X与 中间特征 图X1、 X2和X3进 行多层特 征图聚集， 实现如下： 3b2.1)设 为下采样u倍的特征图σu与下采样v倍的特征图σv的聚集方法的函 数， 表示， 如下： 其中， σu表示相对于原始输入图像下采样u倍 的特征图， σv表示相对于原始输入图像下 采样v倍的特征图， 且u＞v； τ( ·)表示尺度不变卷积； 表示将下采样v倍的特征图上采 样为下采样为u倍的特征图， 上采样方式为反卷积； 表示尺度相同的特征图按位加法运 算； σ′u表示聚集后的特 征图， 其尺度与特 征图σu相同； 3b2.2)对多层特 征图进行聚集： 第1步， 将响应图X和中间特 征图X1、 X2和X3分别记作σk、 σk/2、 σk/4、 σk/8； 第2步， 将下采样倍数相差2倍的特征图分别通过 函数两两聚集， 得到一次聚集 结果 和 第3步， 对一次聚集结果σ ′k、 σ′k/2、 σ′k/4重复第2步操作， 得到二次聚集结果 和 第4步， 将二次聚集结果σ ″k和σ″k/2通过 函数聚集， 得三次聚集结果 第5步， 将三次聚集结果σ ″ ′k′和二次聚集结果中 的σ″k/2通过 函数聚集， 得四次 聚集结果 第6步， 将四次聚集结果 和一次聚集结果中的σ ′k/2通过 函数聚集， 得五次聚 集结果 第7步， 将五次聚集结果 和第1步的中间特征图X3， 即σk/8， 通过 函数聚集， 得 六次聚集结果 该 即为响应图X和中间特征图X1、 X2和X3的多层聚集结果 Xg， 其尺度与特 征图X相同。 6.根据权利要求3所述的方法， 其特 征在于， 3 c)中得到多目标遮挡特 征图Xp， 实现如下： 3c1)将响应图X和归一化后的目标边界框标签集合B ′输入到多目标遮挡特征提取子 网 络的随机遮挡网络层， 得到目标遮挡响应图X ′； 3c2)将目标遮挡响应图X ′继续经过多目标遮挡特征提取子网络余下部分处理， 得到不 同卷积层输出的不同下采样程度的中间特征图X ′1、 X′2和X′3， 这些中间特征图X ′1、 X′2和X′3 分别相对于目标遮挡响应图X ′下采样2、 4、 8倍； 3c3)将目标遮挡响应图X ′与3c4)中得到的中间特征图X ′1、 X′2和X′3进行多层特征图聚 集， 得到多目标遮挡特 征图Xp。 7.根据权利要求6所述的方法， 其特 征在于， 3 c1)中得到目标遮挡响应图X ′， 实现如下： 3c1.1)将归一化后的目标边界框标签集合B ′中所有边界框中心坐标(x， y)及宽高(w，权　利　要　求　书 2/4 页 3 CN 114529581 A 3