(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210496139.4 (22)申请日 2022.05.07 (71)申请人 杭州像素 元科技有限公司 地址 310052 浙江省杭州市滨江区建业路 511号华创大厦13层13 08-1309室 (72)发明人 产思贤　吴狄娟　申元　吴周检　 (74)专利代理 机构 北京奥肯律师事务所 1 1881 专利代理师 王娜 (51)Int.Cl. G06V 10/62(2022.01) G06V 10/25(2022.01) G06V 10/24(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于无锚的联合检测和嵌入的多目标 跟踪方法 (57)摘要 本发明公开了一种基于无锚的联合检测和 嵌入的多目标跟踪方法， 本发明通过引入一个尺 度感知的注 意力模块， 以获得检测和嵌入对不同 尺度目标的感知能力。 将空间和通道注意力机制 应用于不同尺度的特征图， 以分别获得不同尺度 目标的特定语义信息。 然后， 对特征图进行反卷 积， 使各特征图之间的尺度统一， 并通过通道注 意力将其汇总， 得到单一的输出， 有效地提高了 特征图的尺度感知能力。 其次， 检测和Re ‑ID是两 个独立的分支， 通过自注意力机制自适应地学习 与任务相关的特征。 这些任务通过交叉关系权重 图进行交互监督， 提高了目标检测和重识别任务 的协作学习。 最后， 改进了关联方法， 使高置信 度 和低置信度的检测帧在匹配过程中得到充分的 利用。 权利要求书3页 说明书8页 附图2页 CN 114972805 A 2022.08.30 CN 114972805 A 1.一种基于无锚的联合检测 和嵌入的多目标跟踪方法， 其特 征在于， 包括以下步骤： (1)、 获取采集的视频文件， 将其转换成序列图像， 并按照时间顺序将 帧图像输入轻量 级的主干网络 CSPNet， 得到每一帧图像中的目标多尺度融合特 征图； (2)、 将步骤(1)生成的目标特征输入基于CenterNet网络的预测器来定位目标， 并且构 建另一条分支提取目标外貌特征， 以此将图像检测模型转换成关联检测和嵌入模型， 得到 所述多尺度融合特征图对应的目标检测框、 所述目标检测框对应的身份ID和目标检测框的 定位； (3)、 保留每个目标检测框， 并根据预设条件将其分为高、 低置信度的目标检测框， 将关 联分为两个阶段的匹配； 首先， 通过目标检测框的嵌入特征与上一帧的关键目标特征在欧 式空间计算相似度得到第一关联矩阵； 然后， 通过匈牙利算法将当前帧的高置信度的目标 检测框与轨 迹联系起 来； (4)、 针对上一步遗留未关联的目标检测框与上一帧的目标之间， 再次根据IoU距离计 算第二关联矩阵， 并通过匈牙利算法将当前帧的高置信度的目标检测框与轨迹联系起来； 步骤(3)和步骤(4)为第一阶段， 过滤掉由于遮挡、 运动模糊或尺度偏移而没有被适当的高 置信度的目标检测帧匹配的轨 迹； (5)、 第二阶段通过IoU距离将上一阶段未被高置信度目标检测框匹配的轨迹与低置信 度目标检测框进行关联， 以恢复部分低置信度的目标并同时过 滤掉背景； (6)、 经过两个阶段的匹配， 以所确定的关联关系将每一帧图像的关键目标检测框与前 一帧图像的关键目标检测框进 行对应关联， 形成视频流中每一帧图像的各个关键目标检测 框的运动轨 迹； 此外， 未匹配的高置信度目标检测框被初始化 为当前帧新出现的目标。 2.根据权利要求1所述的一种基于无锚的联合检测和嵌入的多目标跟踪方法， 其特征 在于， 所述步骤(1)具体为： 方法涉及网络的主干是由轻量级的CSPNet构建 的， 在这个框架 上建立了一阶段模型， 即单层 多任务结构； 主干网络通过FPN自上而下分别提取 和 尺度的特征图并融合， 然后利用空间注意力和通道注意力进 行增强； 其次， 通过反卷积将增 强的特征图统一到 尺度上， 并再次根据通道注意力去除模糊的语义信息； 最后， 将尺度为 的特征图输入一个自监督模 块得到两个交叉关联的特征图， 一个用于检测， 另一个用于嵌 入。 3.根据权利要求2所述的一种基于无锚的联合检测和嵌入的多目标跟踪方法， 其特征 在于， 所述的步骤(1)通过自监督模块后得到的两个交叉关联特征图， 其中一个用于检测， 输入Cent erNet中， 得到三个特征图， 分别为： 位置特征图 边框尺度特征图 和中心点 偏移特征图 另一个用于嵌入， 输入嵌入 模块， 得到 4.根据权利要求3所述的一种基于无锚的联合检测和嵌入的多目标跟踪方法， 其特征 在于， 所述的自监督模块的具体过程如下： 检测任务和嵌入任务之间的自监督模块的效果 是对检测和重识别特征之 间的共性和特性进 行自适应学习； 该学习是通过自注意力机制和 通道注意力机制来构建； 具体来说， 首先， 利用自注意力机制， 引导不同的任务产生与其任 务相关的特征图， 然后在训练过程中通过通道注 意力机制构建注意力图在相互作用的特征权　利　要　求　书 1/3 页 2 CN 114972805 A 2之间传递信息； 注意力可以作为一个闸门功能来掩盖那些对传递的信息流无效的任务信 息； 换句话说， 使网络自适应地关注或忽略来自特征间的信息； 当向一个任务传递信息时， 任务的相应特 征图Fi∈RC×H×W与其转置产生 一个自注意图 如下所示： 其中σ 是用于归一化注意力图的sigmoid函数； 随后， 在另一个任务的特征图Fj∈RC×H×W 的转置之间产生 一个交叉注意力图 如下所示： 然后， 在参数 λ 的自适应控制下， 注意力图被汇总如下： 信息是在聚合注意图的控制下传递的： 其中Wt是卷积参数。 5.根据权利要求1所述的一种基于无锚的联合检测和嵌入的多目标跟踪方法， 其特征 在于， 所述的步骤(2)中， 通过步骤(1)中得到两个特征图后， 分别输入到CenterNet中进行 目标检测和嵌入模块提取外貌特征； CenterNet的预测器通过搜索中心坐标(x， y)和宽度/ 高度(w， h)来检测每个目标； 对于样本集中标签(GT)的Heatmap， 其中的峰值捕获了样本集 中的标签目标的位置； 具体来说， 在(i， j)位置的峰值： ； 其中N是GT对象的数量(cx， cy)是GT对象i的中心坐标， 标准偏差σc随GT边框的大小而变 化(wi， hi)； 位置特 征图 使用 来监督位置特征的学习， 具体如下： 其中Mxy是估计的热力值， α 、 β 是超参数； 对于中心点偏移特征图 其在(i， j)位置的值： 中心点偏移特征图 使用L1损失 来监督MR的学习； 对于尺度特征图 在(i， j)位置的 值 尺度特征图 使用L1损失 来监督多尺度特征的学习； 那么， 检测 的总体损失是： Ldet＝LL+LR+0.5LS 在嵌入模块， 生成 后， 身份嵌入预测器与嵌入相关的特征图相联系；权　利　要　求　书 2/3 页 3 CN 114972805 A 3