(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210443714.4 (22)申请日 2022.04.25 (71)申请人 电子科技大 学长三角研究院 （衢州） 地址 324000 浙江省衢州市柯 城区芹江东 路288号1幢18楼 (72)发明人 张翔　陈东航　王宇航　李信治　 廖权　 (74)专利代理 机构 北京正华智诚专利代理事务 所(普通合伙) 11870 专利代理师 李梦蝶 (51)Int.Cl. G06V 20/52(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 7/246(2017.01) G06T 7/66(2017.01) G06T 7/73(2017.01) (54)发明名称 一种基于深度学习的端到端的飞行器检测 与跟踪方法 (57)摘要 本发明公开了一种基于深度学习的端到端 的飞行器检测与跟踪 方法， 提出一个基于深度学 习的多尺度自适应联合框架来同时完成目标检 测和外观特征的提取， 位置预测三个任务。 建立 三个子分支， 分别对飞行器的外观， 飞行器的位 置大小以及不同飞行器外观间的差异性进行学 习， 通过对类内与类间外观的学习， 不仅能加强 弱环境下飞行器的检测能力与飞行器之间的区 别能力， 有效提升多飞行器跟踪的精度与效率。 权利要求书2页 说明书6页 附图3页 CN 114926779 A 2022.08.19 CN 114926779 A 1.一种基于深度学习的端到端的飞行器 检测与跟踪方法， 其特 征在于， 包括如下步骤： S1、 标注飞行器边界框并对标注的边界框进行修 正， 得到修 正后的边界框； S2、 构建深度神经网络模型， 将相邻两帧图像序列以及修正后的边界框输入深度神经 网络提取 特征， 并对深度神经网络进行训练； S3、 利用训练好的深度神经网络对输入的两帧图像进行目标检测与跟踪。 2.根据权利要求1所述的基于深度学习的端到端的飞行器检测与跟踪方法， 其特征在 于， 所述S1中对标注的边界框进行修 正的方法为： 以左上坐标与长宽来定义边界框(x,y,w,h)， 以中心为原点， 将边界框高度下调20％， 得到修正后的边界框(x,1.2y,w,0.8h)。 3.根据权利要求2所述的基于深度学习的端到端的飞行器检测与跟踪方法， 其特征在 于， 所述S2中深度神经网络的训练过程 为： S21、 构建特征金字塔对输入的相邻 两帧图像序列提取特征， 用交叉熵损失分类前景与 背景， 并利用Smo oth‑L1损失进行边界框回归得到不同尺度的特 征图； S22、 根据不同尺度的特 征图构建飞行器的外观特 征图， 完成外观特 征提取任务； S23、 通过 卷积外观特 征图确定飞行器目标中心点的偏移进行位置预测。 4.根据权利要求3所述的基于深度学习的端到端的飞行器检测与跟踪方法， 其特征在 于， 所述S21中交叉熵损失函数表示 为： 其中， pi为第i个锚点的预测分类概率， 当第i个锚点的IoU超过阈值时， 视为正样本， 否则为负样本， ti为锚点预测的边界框的坐标， 为真实宽的坐标； 为Smooth‑L1函数； Nreg为锚点位置的数量。 5.根据权利要求4所述的基于深度学习的端到端的飞行器检测与跟踪方法， 其特征在 于， 所述S2 2具体包括： S221、 利用标准交叉熵损失函数来训练外观亲和分支， 以其余弦距离作为样本间的相 对距离， 表示 为： 其中， fT为选定的锚点样本， G+表示选定锚点是正样本， 表示这个是负 样本； S222、 利用判别方法分别对正、 负 样本进行训练完成位置预测， 其逻辑损失表示 为： 其中， 为选定锚点在t ‑1帧中的外观特征， g+表示搜索区域所涵盖的锚点， 为正样 本， g‑表示搜索区域未能涵盖的飞机样本， 为负 样本。 6.根据权利要求1所述的基于深度学习的端到端的飞行器检测与跟踪方法， 其特征在 于， 所述S3具体包括：权　利　要　求　书 1/2 页 2 CN 114926779 A 2S31、 将新一帧图像输入训练好的网络中， 得到新一帧图像的检测坐标Di， 检测外观特 征δ(Di)以及跟踪坐标Tj； S32、 计算检测坐标Di和跟踪坐标Tj的交叉比， 构建跟踪目标与检测目标的空间相似度 矩阵Siou， 表示为： 其中， Area(Di)检测目标Di的坐标， A rea(Tj)表示跟踪目标Tj的坐标； S33、 计算检测外观特征δ(Di)的余弦距 离， 构建跟踪目标与检测目标的外观相似度矩阵 Scos， 表示为： 其中δ(Di)表示检测目标Di的外观特 征， δ(Tj)表示跟踪目标Tj的外观特 征； S34、 设定关联矩阵， 确定检测目标与跟踪目标的最终得分S； S35、 利用匈 牙利算法对跟踪目标与检测目标进行关联， 得到多飞行器的跟踪结果。 7.根据权利要求6所述的基于深度学习的端到端的飞行器检测与跟踪方法， 其特征在 于， 所述S34中， 最终得分S的计算公式为： S＝α·Siou+(1‑α )·Scos 其中， α 为权 重参数。权　利　要　求　书 2/2 页 3 CN 114926779 A 3