(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210929713.0 (22)申请日 2022.08.04 (65)同一申请的已公布的文献号 申请公布号 CN 114993306 A (43)申请公布日 2022.09.02 (73)专利权人 中国人民解 放军国防科技大 学 地址 410073 湖南省长 沙市开福区德雅路 109号 (72)发明人 陈昶昊　张礼廉　潘献飞　何晓峰　 屈豪　涂哲铭　毛军　范晨　 胡小平　 (74)专利代理 机构 长沙国科天河知识产权代理 有限公司 432 25 专利代理师 赵小龙 (51)Int.Cl. G01C 21/16(2006.01) G01C 21/00(2006.01) G01C 21/20(2006.01) G06T 7/55(2017.01)G06T 7/73(2017.01) G06N 3/04(2006.01) (56)对比文件 CN 114526728 A,202 2.05.24 CN 111311685 A,2020.0 6.19 CN 114022799 A,2022.02.08 US 2012078510 A1,2012.0 3.29 US 8761439 B1,2014.0 6.24 GB 9815102 D0,20 01.03.14 张礼廉等.视 觉/惯性组合 导航技术发展综 述. 《导航定位与授时》 .2020,第7 卷(第04期),第 50-63页. 向奉卓等.具 备尺度恢复的单目视 觉里程计 方法. 《测绘科 学技术学报》 .2018,第3 5卷(第05 期),第462-46 6页. 屈豪等.基 于注意力模型的视 觉/惯性组合 里程计算法研究. 《导 航定位与授时》 .2020,第7 卷(第04期),第42-49页. (续) 审查员 田颖 (54)发明名称 一种尺度自恢复的视觉惯性组合导航方法 和装置 (57)摘要 本发明公开一种尺度自恢复的视觉惯性组 合导航方法和装置， 该方法包括： 基于惯性预积 分得到载体的非精准位移估计； 构建视觉惯性组 合导航模型； 将源图像中的像素映射到目标图 像， 生成新的目标图像， 并基于新的目标图像与 实际目标图像构建像素重建函数； 基于非精准位 移估计与位姿预测网络输出的位移构建尺度恢 复函数， 并构建基于贝叶斯估计的联合优化函数 作为目标优化函数， 自监督的训练视觉惯性组合 导航模型； 将训练好的视觉惯 性组合导航模型部 署在载体上， 实时预测输出载体的位置、 姿态和 场景的深度信息。 本发明应用于导航定位领域， 可自监督从视觉和惯性特征中学习到带有全局尺度的位置和姿态， 实现载体精确定位。 [转续页] 权利要求书3页 说明书6页 附图1页 CN 114993306 B 2022.10.28 CN 114993306 B (56)对比文件 Chen Changhao 等.Selective Sensor Fusion for Neural Visual-I nertial Odometry. 《2019 IE EE/CVF Conference o n Computer Visi on and Pat tern Recogn ition (CVPR)》 .2020,2/2 页 2[接上页] CN 114993306 B1.一种尺度自恢复的视觉惯性组合导航方法， 其特征在于， 将惯性测量器件与单目相 机搭载在同一载体上， 所述组合 导航包括如下步骤： 步骤1， 采集惯性测量数据序列与图像序列， 并基于惯性预积分得到载体的非精准位移 估计； 步骤2， 构建视 觉惯性组合 导航模型： 构建基于卷积神经网络的视觉特征提取模块和基于循环神经网络的惯性特征提取模 块； 基于视觉特征提取模块从两帧连续的源图像和目标图像中提取视觉特征， 基于惯性特 征提取模块从惯性测量数据中提取惯性特 征； 将视觉特征与惯性特征融合后构建位姿预测网络和深度场景预测网络， 从融合后的特 征预测输出位姿和场景深度信息； 步骤3， 基于深度场景预测网络输出的场景深度信息将源图像中的像素映射到目标图 像， 生成新的目标图像， 并基于新的目标图像与实际目标图像构建像素重建函数； 步骤4， 基于载体的非精准位移估计与位姿预测网络输出的位移构建尺度恢 复函数， 并 基于尺度恢复函数与像素重建函数构建基于贝叶斯估计的联合优化 函数； 步骤5， 以基于贝叶斯估计的联合优化函数为目标优化函数， 自监督的训练视觉惯性组 合导航模型； 步骤6， 将训练好的视觉惯性组合导航模型部署在载体上， 实时预测输出载体的位置、 姿态和场景的深度信息； 步骤4中， 所述基于载体的非精准位移估计与位姿预测网络输出的位移构建尺度恢复 函数， 具体为： 式中， 为尺度恢复函数， 为位姿预测网络输出的位移， 为载体的非精准位移 估计； 所述基于尺度恢复函数与像素重建函数构建基于贝叶斯估计的联合优化函数， 具体 为： 式中， 为基于贝叶斯估计的联合优化函数， 为尺度恢复函数， 为像素重 建函数， 、 代表尺度恢复函数和像素重建函数的不确定性。 2.根据权利要求1所述的尺度自恢 复的视觉惯性组合导航方法， 其特征在于， 步骤1中， 所述基于惯性预积分得到载体的非精准 位移估计， 具体为： 步骤1.1， 计算第 时刻的姿态旋转矩阵 ， 为： 式中， ， 为惯性测量数据中的角速度测量值， 为单位时间， 为旋权　利　要　求　书 1/3 页 2 CN 114993306 B 3