(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211279242.X (22)申请日 2022.10.19 (71)申请人 南京航空航天大 学 地址 210016 江苏省南京市秦淮区御道街 29号 (72)发明人 王孟晓　徐诚　秦乾　 (74)专利代理 机构 北京卓胜佰达知识产权代理 有限公司 16 026 专利代理师 刘冬梅 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/10(2017.01) G06T 5/00(2006.01) G06T 19/20(2011.01) G06V 10/46(2022.01)G06V 10/75(2022.01) G06V 10/762(2022.01) (54)发明名称 一种基于双目鱼眼相机的快速半稠密三维 重建方法 (57)摘要 本发明提供一种基于双目鱼眼相机及尺度 不变特征变换（ORB， Oriented  Fast and  Rotated Brief） 特征提取和简单线性迭代聚类 （SLIC， Simpl e Linear Iterative  Clustering） 超像素分割的快速半稠 密三维重建方法， 该技术 能够对左右两相机同时摄取的同一场景的两张 二维图像进行校正、 特征提取、 图像分割、 立体匹 配等处理， 从而还原出场景的三维信息。 相较于 现有的稠密重建方法及稀 疏重建方法， 在尽可能 减小计算量、 保证效率的同时保留了足够描绘场 景中物体轮廓的点， 以实现无人机避障需求下的 场景重建效果。 权利要求书1页 说明书3页 附图2页 CN 115359193 A 2022.11.18 CN 115359193 A 1.一种基于双目鱼眼相机的快速半稠密三维重建方法， 其特 征在于， 包括以下步骤： S1 由双目摄 像头拍摄图像； S2 将拍摄的图像输入到 畸变校正模块， 由畸变校正模块进行摄像机标定及畸变校正 的常规操作； S3 将畸变校正模块的结果输入到立体匹配模块， 由立体匹配模块进行特征点匹配和 其他点匹配； S4 将立体匹配模块的结果输入到模型重建模块， 由模型重建模块将所求解出的全部 特征点及其 他点的三维坐标信息转 化成点云， 实现半稠密的三维重建； S5 输出点云。 2.根据权利要求1所述的方法， 其特征在于， 所述S1中的双目摄像头为基线固定且支持 单USB连接线的双目鱼眼摄 像头。 3.根据权利要求1所述的方法， 其特征在于， 所述S3 中的特征点匹配所采用的算法为尺 度不变特征变换ORB和随机抽样一致RANSAC算法： 提取左右两相机同时摄取的同一场景的 两幅图像中的尺度不变特征变换ORB特征点， 使用汉明距离匹配， 再利用随机抽样一致 RANSAC算法筛选得到最佳匹配点对， 根据所获得的匹配点对来恢复所述特征点的深度、 生 成基于特 征点匹配的视 差图。 4.根据权利要求1所述的方法， 其特征在于， 所述S3 中的其他点匹配则是以简单线性迭 代聚类SLIC超像素分割技术为依 托， 在对上一步的特征点匹配中得到的最佳匹配点对使用 三角剖分的方式形成2D网络， 作为其他点判断视差的先决条件， 在约束中同时加入简单线 性迭代聚类SLIC超像素分割算法的结果以增加前述基于特征点的视差图的连续性， 实现点 图稠密程度由稀疏到半稠密的变化， 同时根据这些新获得的匹配点对 恢复其深度信息 。权　利　要　求　书 1/1 页 2 CN 115359193 A 2一种基于双目鱼眼相机的快速半稠密三维重建 方法 技术领域 [0001]本发明涉及 一种快速半稠密三维重建方法， 具体涉及一种基于双目鱼眼相机及尺 度不变特征变换 （ORB， Oriented  Fast and Rotated Brief） 特征提取和简单线性迭代聚类 （SLIC， Simple  Linear Iterative  Clusteri ng） 超像素分割的快速半稠密三维重建方法。 背景技术 [0002]为从二维图像中恢复场景的三维信息， 三维重建即根据物体或者场景所拍摄的两 个或者两个以上二维的图像， 由计算机自动进行计算和匹配， 计算出物体或者场景 的二维 几何信息和深度信息， 进而建立三维的立体模型 的过程， 其重点在于获取目标场景或物体 的深度信息。 深度信息的测量分为主动式和被动式两种， 主动式即借助激光、 声波、 电磁波 等光源或能量源发射至物体表面来直接获得距离。 主动式相 机容易受到环境因素 的影响， 如混合像素、 外界光源等， 导致景物深度不准确， 且系统误差与随机误差对测量结果的影响 很大， 需要进 行后期数据处理， 主要体现在场景像素点的位置重合上； 被动式则以基于视差 原理的立体视觉为主， 通过计算和匹配获得距离及深度信息， 相较于主动式则更能满足探 索未知环境的鲁棒 性、 可靠性需求。 本发明属于基于图像的被动式三维重建方法。 [0003]根据重建稠密程度的不同， 又将基于单/双目图像的三维重建分为稀疏重建、 半稠 密重建及稠密重建三种。 稀疏重建方法是视觉同步定位与建图 （SLAM， Simultaneous   Localization  And Mapping） 中的常用方法， 通常是通过重建一些图像特征点的深度来计 算相机位姿。 稀疏重建在比如检测、 避障这样要求重建点云连续性较高的实际应用中表现 吃力， 不能满足需求； 稠密重建是对整个图像或者图像中的绝大部分像素进行重建。 与稀 疏、 半稠密相比， 稠密重建对场景三维信息的理解更为全面， 更能符合应用需求。 但其要重 建的点云数量太多， 一味追求信息全面性的后果势必是耗费过多的算力， 无人机机载计算 机对此力不从心。 本发明所提出 的介于稀疏及稠密之间的半稠密方法则取长补短， 在减小 计算量、 保证效率的同时保留了足够描绘场景中物体轮廓的点， 满足无人机避障所需的快 速重建需求。 发明内容 [0004]本发明的目的在于提供一种基于双目鱼眼相机及尺度不变特征变换 （ORB， Oriented  Fast and Rotated Brief） 特征提取和简单线 性迭代聚类 （SLIC， Si mple Linear  Iterative  Clustering） 超像素分割的快速半稠密三维重建方法， 该技术能够对左右两相 机同时摄取的同一场景的两张二维图像进行校正、 特征提取、 图像分割、 立体匹配等处理， 从而还原出场景 的三维信息。 相较于现有的稠密重建方法及稀疏重建方法， 在尽可能减小 计算量、 保证效率的同时保留了足够描绘场景中物体轮廓的点， 以实现无人机避障需求下 的场景重建效果。 [0005]一种基于双目鱼眼相机的快速半稠密三维重建方法， 其特 征在于， 包括以下步骤： S1 由双目摄 像头拍摄图像；说　明　书 1/3 页 3 CN 115359193 A 3