(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210114308.3 (22)申请日 2022.01.30 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 鲜斌　费思远　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 刘国威 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于单目视觉的多无人机智能识别及相对 定位方法 (57)摘要 本发明属于无人机编队感知研究领域， 针对 GPS拒止环境下无人机编队的定位问题， 为提出 一种新型多无人机基于单目视觉的智能识别及 相对定位算法， 并进行微型无人机编队实时飞行 实验。 本发明采用的技术方案是， 多无人机基于 单目视觉的智能识别及编队相对定位方法， 在跟 随无人机上， 根据单目视觉信息， 并利用基于 Darknet的卷积神经网络在线检测识别视野中的 领航无人机， 利用识别结果计算出跟随无人机自 身相对领航机的相对位置， 利用控制算法实现跟 随无人机对 领航机跟踪。 本发明主要应用于无人 机编队控制场合。 权利要求书4页 说明书17页 附图10页 CN 114581516 A 2022.06.03 CN 114581516 A 1.一种多无人机基于单目视觉的智能识别及编队相对定位方法， 其特征是， 在跟随无 人机上， 根据单目视觉信息， 并利用基于Dar knet的卷积神经网络在 线检测识别视野中的领 航无人机， 利用识别结果计算出跟随无人机 自身相对领航机的相对位置， 利用控制算法实 现跟随无 人机对领航机跟踪。 2.如权利要求1所述的多无人机基于单目视觉的智能识别及编队相对定位方法， 其特 征是， 采用的卷积神经网络为具有24层网络的YOLOv3 ‑tiny， 该网络架构采用全卷积的方 式， 无全连接层， 最后输出的特征图送入YOLO层， YOLO层采用基于Anchor的预测方法来取代 全连接层。 3.如权利要求2所述的多无人机基于单目视觉的智能识别及编队相对定位方法， 其特 征是， 采用的卷积神经网络具体结构如下： (1)卷积层 a.卷积计算 卷积的主要功能是指卷积核即滤波器通过在输入图片上滑动， 通过卷积操作从而得到 一组新的图像特 征； b.批归一 化 输入为一个小批量样本： I＝{λ1,..., λn}； 输出： {yi＝BNλ, β( λi)}， 其具体展开如(1)所 示. 其中， ε为大于0的常数， 作用为防止分母等于0， γ, β 为 需要学习的模型参数， 采用滚动 平均值式(2)的方法来 替代式(1)中平均值 μI的计算； c.激活函数 YOLO层前的卷积层输出经过的激活函数为线性激活函数linear(f(x)＝x)， 其余卷积 层都经过非线性激活函数LeakyReLU处 理后输出； (2)最大值池化层Maxpo ol 池化层poolin g layer通常在 卷积层之后使用， 用于进行降采样， 网络池化层均采用最 大值池化方式； (3)上采样层Upsample与特 征融合层Route 采样层使用了最近邻差值方法， 该差值方法无需计算， 通过将与待求像素距离最近的 邻像素的像素值赋值给待求像素值 来实现； 特征融合层的作用是将浅层卷积网络与深层卷积网的输出特征图在深度方向上进行 拼接， 特征融合的作用是保留浅层特 征图的信息， 为之后YOLO层的预测保留更多的特 征；权　利　要　求　书 1/4 页 2 CN 114581516 A 2(4)YOLO层 YOLO层对全连接层进行了取代， 作用是在全卷积神经网络输出的特征图上进行分类和 定位回归， 共采用两个YOLO层， 分别负责不同尺度特征图的预测， 实现多尺度预测， 即大网 格预测大物体， 小网格预测小物体， 每 个网格会由三个先验框即Anc hor进行预测。 4.如权利要求2所述的多无人机基于单目视觉的智能识别及编队相对定位方法， 其特 征是， 预测流 程设计； 输入图片通过卷积神经网络提取特征， 得到n ×n大小的特征图， 然后再将输入图像平 均分成n×n个网格,根据训练集中提供的Bbox真值， 目标的中心 坐标落在哪个网格中， 就由 该网格来预测该目标m每个网格会有固定数量的边界框参与预测， 预测使用的先验边界框 是预先通过K ‑means聚类得到的固定大小的锚框Anchor， 此外， 预测得到的特征图除上述n ×n的两个特征维度外， 还有纵向的深度 维度， 大小为B*(5+C)， 其中B表示每个网格所需要 预测的边界框数量， C表示 边界框的类别， 5表示Bbox的四个坐标信息和目标置信度； 卷积神经网络需要为每个Bbox预测四个坐标值， 网络输出tx,ty,tw,th为相对目标中心 网格左上角坐标的偏移值， 其中tx表示目标中心网格左上角坐标x方向的偏移值， ty表示目 标中心网格左上角坐标y方向的偏移值,tw为矩形框宽度方向上的偏移量， th为矩形框 高度 方向上的偏 移量； 进而通 过式(4)计算 得出预测的Bbox坐 标值， 其中cx,cy为目标中心网格距 图像坐标系 原点的偏移量， lw,lh表示为锚框的宽和高， σ( ·)为sigmoid函数， 其值域为(0, 1)起归一 化作用， 计算结果bx,by,bw,bh表示预测得到的Bbox坐标， 以网格为单位： 卷积神经网络除了需要预测Bbox坐标外， 还需要预测出类别置信度得分 其计算公式如式(5)， 其中Pr(Classi)表示目标属于类别i的概率， 指预测框和真值框之间的交叠比IoU(Intersection  over Union)， Pr(Classi| Object)指条件类别概率， 表示在目标已经存在的前提下目标属于类别i的概率， Pr (Objecti)表示Bbox框是否包 含目标的概 率： 得到上述预测值即实现了对领航无 人机的识别。 5.如权利要求2所述的多无人机基于单目视觉的智能识别及编队相对定位方法， 其特 征是， 损失函数设计； 损失函数L oss分为三个部分， 定位损失、 目标置信度损失和分类损失； (1)定位损失 使用最小平方误差MSE损失函数， 其表达式为式(6)， 其中， S表示网格共有S*S个， 每个 网格有B个候选锚框， txi,tyi,twi,thi表示网络输出值即预测值， 表示真值， 以 上数据表示 预测/真值坐标相对网格左上角坐标的偏移量， 系数 目的是 提升对小物体的检测效果， 以及 表示第i个网格的第j个锚框Anchor是否负责预测该目权　利　要　求　书 2/4 页 3 CN 114581516 A 3