(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211147684.9 (22)申请日 2022.09.19 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 王庆　张锐　谭镕轩　冯悠扬　 阳媛　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 蒋昱 (51)Int.Cl. G06T 17/05(2011.01) G06T 7/73(2017.01) G06T 7/50(2017.01) G06V 10/46(2022.01)G06V 10/75(2022.01) (54)发明名称 基于深度学习的机场三维地图快速可视化 方法 (57)摘要 本发明提出了基于深度学习的机场三维地 图快速可视化方法， 在未知环境下， 载体在运动 的过程中通过单目摄像头采集周围环境的彩色 图像， 在图像中提取特征点配准计算出自身的运 动变换， 然后将图像和位姿输入到深度学习网络 中， 得到每个图像的深度图， 最后通过将所有深 度图的点融合得到稠 密的三维可视化地图， 本发 明提供一种基于深度学习的快速三维可视化方 法。 针对现有三维模型建立方法设备昂贵、 需要 耗费大量人力物力成本的问题， 利用低成本的摄 像机代替昂贵的设备， 仅需要采集足够图像数 据， 即可重建三维地图模型。 针对摄像头难以重 建弱纹理的场景、 重建时间长的问题， 引入深度 学习快速获取稠密的三维可视化模型。 权利要求书2页 说明书6页 附图1页 CN 115471623 A 2022.12.13 CN 115471623 A 1.基于深度学习的机场三维地图快速可视化方法， 其特 征在于： 包括如下步骤： S1.将单目摄 像头获取的彩色图像传送到处 理器， 解算出载体的位移和姿态信息； 所述的步骤S1中， 包括以下步骤： S11.图像特 征点提取； S12.特征点匹配， 并计算 位置和姿态； 所述的步骤S11中， 包括以下步骤： 图像中提取SIFT特诊点， 进行匹配得到不同图像中 的对应特 征点； 所述的步骤S12中， 包括以下步骤： 计算基础矩阵F， 利用基础矩阵F和摄像头内参求解 本质矩阵E， 分解本质矩阵E得到摄 像头的位置t和姿态R： S2.将彩色图像和位移以及姿态信息 输入到深度学习网络中， 得到每 个图像的深度图； 所述的步骤S2中， 包括以下步骤： S21.将多视图 图像输入到设计的端到端深度学习架构； S3.根据位移和姿态信息将 深度图中的三维点融合， 得到稠密的三维可视化 地图； 所述的步骤S3中， 包括以下步骤： S31.根据位置和姿态， 将 深度图中的点 转换到世界坐标系中； S32.将转换后的点融合得到三维可视化 地图。 2.根据权利要求1所述的基于深度学习的机场三维地图快速可视化方法， 其特 征在于： 所述步骤S11中图像特 征点提取， 具体如下； 采用尺度 不变特征SIFT算法， 提取出特征点在匹配过程 中， SIFT算法使用的是Kd ‑tree 算法， 即找出待配准图像中与参考图像特征点A距离最近的点B和距离次近的点C， 则判断特 征点A与B是一对匹配点的公式为： 其中d(A， B)为A和距离A最近的点B之间的距离， d(A， C)为A和距离A次近的点C之间 的距 离， 之后用RANSAC算法消除错 误匹配点， 至此SIFT特 征点提取和匹配工作已经完成。 3.根据权利要求1所述的基于深度学习的机场三维地图快速可视化方法， 其特 征在于： 所述步骤S21中特 征点匹配， 并计算 位置和姿态， 具体如下； 位姿解算； 将第一张图像所在坐标系作为世界坐标系， 对于每张图像选择后一帧图像组成图像 对， 通过图像对计算两张图像之 间的基础矩阵F， 当两张图像上的对应特征点 足够多可以通 过如下方程计算： pTFq＝0 其中F为待求基础矩阵， p为左图像的特 征点， q为右图像对应的特 征点； 通过基础矩阵得到 两幅图像间的本质矩阵E： 其中K1是左图像的相机内参， K2为右图像的相机内参， E为待求本质矩阵； 最后从本质矩阵中分解得到相机的位置和姿态， 对本质矩阵进行SVD分解： SVD(E)＝UDVr t＝U权　利　要　求　书 1/2 页 2 CN 115471623 A 2R＝UWVT 其中t为相机位置， R为相机姿态， 4.根据权利要求1所述的基于深度学习的机场 三维地图快速可视化方法， 其特征在于： 所述步骤S3根据位移和姿态信息将深度图中的三维点融合， 得到稠密的三维可视化地图， 具体步骤如下； 1)深度特 征提取； 经过视角选择之后， 输入已经配对的N张影像， 即参考影像和候选集。 首先利用一个八 层的二维卷积神经网络提取立体 像对的深度特 征F， 输出32通道的特 征图 2)深度估计； 网络训练方MVSNet的深度估计是通过神经网络直接学习的； 网络训练方法是， 输入代价体V； 和对应深度图真值， 利用SoftMax回归每 ‑‑个像素在深 度 θ 处的概率， 得到一个表示参考影像每个影像沿深度方向置信度的概率体P以此完成从代 价到深度值的学习过程， 置信度最高的那个深度值即为当前像素点的深度； 3)深度图融合； 离群点剔除 对于每张图像 中的深度点投影到其它图像中， 如果和其它图像中的对应点深度相似则 认为该点 准确， 如果和所有图像都不相似则为离群点， 剔除： p＝KTijq 其中q为当前图像i中的点的坐标， p为投影到图像j中的点的坐标， K为相机内参， Tij为 图像i和图像j之间的位姿； 深度图融合 将每幅图像中的点投影到世界坐标系中的一个点云中： qw＝KTiq 其中Ti为第i幅图像到世界坐标系的位姿， q为当前图像坐标系中的点， qw为转换到世界 坐标系下的点。权　利　要　求　书 2/2 页 3 CN 115471623 A 3