(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221096985 5.X (22)申请日 2022.08.12 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 刘向增　王子尧　苗启广　徐雪灵　 卢子祥　宋建锋　权义宁　张菊莉　 (74)专利代理 机构 西安智大知识产权代理事务 所 61215 专利代理师 王晶 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/285(2017.01) G06T 7/246(2017.01) G06T 7/33(2017.01) G06T 7/62(2017.01)G06T 7/64(2017.01) (54)发明名称 一种无人机单目相机避障方法 (57)摘要 本发明公开了一种无人机单目相机避障方 法， 包括； 步骤1， 设置无人机避障预警系统初始 参数； 步骤2， 获取无人机装 载的单目相机连续拍 摄的可见光图像， 将连续两帧图像作为配准基准 图像， 获得基准图像之间得配准关系表； 步骤3， 将output_matrix传入预警算法模块， 计算基准 图特征变化量cm_resu lt， 根据当前报警状态量， 产生对应无人机避障状态信号； 步骤4， 将步骤3 中产生得无人机避障状态信号累加至无报警信 号统计量， 当前进信号统计量达阈值时， 系统发 生报警； 当后退信号统计量达阈值时系统取消报 警； 当转向统计量达到阈值时系统取消报警， 转 步骤1。 本发明根据对特征变化结果的统计， 对无 人机的运动姿态进行简单的估计， 并在运动方向 上有障碍物接 近时进行 预警。 权利要求书2页 说明书4页 附图3页 CN 115330871 A 2022.11.11 CN 115330871 A 1.一种无 人机单目相机避障方法， 其特 征在于， 包括以下步骤； 步骤1， 设置无人机避障预警系统初始参数， 包括初始报警状态量， 报警信号统计量， 匹 配算法参数， 姿态估计参数， 预警算法参数； 步骤2， 根据步骤1中设定 间隔帧数fps， 获取无人机装载的单目相机连续拍摄的可见光 图像， 将连续两帧图像作为配准基准图像， 经过预处理后传入Loftr配准模块， 获得基准图 像之间的配准关系表； 步骤3， 将步骤2获得的配准关系表传入预警算法模块， 计算基准图特征变化量cm_ result， 根据当前报警状态量， 产生对应无 人机避障状态信号； 步骤4， 将步骤3中产生得无人机避障状态信号累加至无报警信号统计量， 当前进信号 统计量达阈值＝ 1.03对应步骤1中前进 方向报警阈值时， 系统发生报警； 当后退信号统计量 达阈值＝0.96时系统取消报警； 当转向统计量达 到阈值时系统取消报警， 转 步骤1。 2.根据权利要求1所述的一种无人机单目相机避 障方法， 其特征在于， 所述步骤2中用 的的Loftr配准模块工作流 程如下： 步骤2.1： 将输入可见光图像按照指定的掩码率进行边框掩码， 保留图像的中间窗口部 分作为待处 理图像； 步骤2.2： 将待配准图像传入Loftr深度学习模型中， 获得匹配关系 表， 其中配准关系 表 由配准关系矩阵A和配准置信矩阵M组成， A中第i行第j列的元素ai， j为二元组(x， y)， 表 示原 图像第i， j处锚点在待匹配图像上的锚点坐标为x， y； M中第i行第j列的元素mi， j表示矩阵A 中ai， j的匹配置信度； 步骤2.3： 对于步骤2.2提取到的匹配关系矩阵， 保留置信度mco nf>0.7的匹配对； 步骤2.4： 若步骤2.3中得到匹配对数量少于50则抛出异常， 系统跳至下一轮循环； 否 则， 将匹配对传给步骤3的预警算法模块。 3.根据权利要求1所述的一种无人机单目相机避 障方法， 其特征在于， 所述步骤3中预 警算法模块工作流 程如下： 步骤3.1： 将传入的匹配对是用RANSAC方法剔除离群匹配； 步骤3.2： 对于保留下的特征点， 使用opencv库的convexHull工具， 依次连接所有匹配 点中的边界点， 绘制其外围凸包， 得到 显著特征凸包边界； 步骤3.3： 根据步骤3.2中获得凸包边界， 计算 其凸包面积； 步骤3.4： 根据步骤3.3中外围凸包面积， 计算配准基准图像的凸包面积比ratio， 其中 ratio计算方式如下： ratio＝Areatrain/Areaquery 系统将rati o作为特征变化量传至下一模块。 4.根据权利要求3所述的一种无人机单目相机避障方法， 其特征在于， 所述步骤3.1中 所描述RANSAC 工作流程如下： 1)随机抽取部分匹配关系作为 正确数据i nliers， 构建模型； 2)用1中所构建模型测试其他所有未抽取数据， 如果某点推理结果适用于估计模型， 则 认为其为正确数据i nliers， 否则其 为错误数据outl iers； 3)统计1中模型据错 误数据outl iers数目； 4)重复步骤1～3， 维护 全局最优模型， 认为局内点最多的模型为最终模型。 有最终模型权　利　要　求　书 1/2 页 2 CN 115330871 A 2推理为inliers的匹配关系为保留特 征关系。 5.根据权利要求1所述的一种无人机单目相机避 障方法， 其特征在于， 所述步骤4中判 断报警发生的具体工作流 程如下： 若当前报警标志位为0， 则判断特征变化量是否大于convex_threshold， 若大于则 forward_cnt+1， 当forward_cnt超过预设forward_max时， 报 警标志位置1； 反之， 若当前报 警标志位为1， 则判断特征变化量是否小于convex_back_threshold， 若小于则backward_ cnt+1， 当backward_cnt超过预设backward_max时， 报警标志位置0， 取消报警； 同时， 若当前 报警标志位为1， turn_cnt＝turn_cnt+tn_result， 当turn_cnt超过turn_max时， 判断无人 机转向， 取消报警。 6.根据权利要求1所述的一种无人机单目相机避障方法， 其特征在于， 所述步骤1中， 各 参数缺省值为： 间隔帧数fps＝4， 掩码率crop_ratio＝0.7， 前进方向报警阈值convex_ threshold＝1.03， 后退方向报 警阈值convex_back_threshold＝0.96， 前进方向报警信号 统计量forward_cnt＝0， 前进方向报警信 号最大值forward_amx＝3， 后退方向报警信 号统 计量＝0， 后退 方向报警信号 最大值2， 转向信号统计量0， 转向信号 最大值20 0。权　利　要　求　书 2/2 页 3 CN 115330871 A 3