(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210037374.5 (22)申请日 2022.01.13 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 张绍明　王震　王建梅　冯甜甜　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 杨宏泰 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/44(2022.01) G06V 10/75(2022.01) G06V 10/80(2022.01) G06V 10/50(2022.01) (54)发明名称 基于顶视点线特征融合的单目相机视觉里 程计初始化方法 (57)摘要 本发明涉及一种基于顶视点线特征融合的 单目相机视觉里程计初始化方法， 该方法包括以 下步骤： 步骤1： 采用单目相机获取网格天花板中 具有设定重叠度的序列影像， 称为左右影像， 对 左右影像进行降采样处理， 得到降采样影像， 并 形成影像金字塔； 步骤2： 并行在降采样影像上对 左右影像进行大尺度线特征提取和多尺度点特 征提取； 步骤3： 进行多级点线融合特征匹配， 获 取稳定的底层特征点匹配结果； 步骤4： 根据底层 特征点匹配结果进行单目初始化， 与现有技术相 比， 本发明具有显著降低特征重复的问题对于匹 配造成的影响以及有效减小了底层特征匹配的 搜索空间以及同时兼顾稳定性和实时性 等优点。 权利要求书3页 说明书8页 附图1页 CN 114444586 A 2022.05.06 CN 114444586 A 1.一种基于顶视点线特征融合的单目相机视觉里程计初始化方法， 其特征在于， 该方 法包括以下步骤： 步骤1： 采用单目相机获取网格天花板中具有设定重叠度的序列影像， 称为左右影像， 对左右影 像进行降采样处 理， 得到降采样影 像， 并形成影 像金字塔； 步骤2： 同时在降采样影 像上对左右影 像进行大尺度线特 征提取和多尺度点特 征提取； 步骤3： 进行多 级点线融合特 征匹配， 获取 稳定的底层特 征点匹配结果； 步骤4： 根据底层特 征点匹配结果进行 单目初始化。 2.根据权利要求1所述的一种基于顶视点线特征融合的单目相机视觉里程计初始化方 法， 其特征在于， 所述的步骤2中， 并行在降采样影像上对左右影像进行大尺度线特征提取 和多尺度点特 征提取的过程具体包括以下步骤： 步骤201： 采用LSD算法在降采样影像上提取线段， 对每个线段的线段支撑区域和线段 端点对应区域分别进行区域增长， 得到显著角点预测区域、 边缘点预测区域和一般点预测 区域的掩膜图像； 步骤202： 对于单张影像提取的线段， 按照设定的角度分辨率间隔b计算其长度加权的 方向直方图， 并将其归一 化； 步骤203： 同时在原始影像上采用FAST算子提取底层特征， 将影像划分为均匀大小的格 网， 格网采用左上角坐标和宽长描述： (X,Y,W,H)， 采用FAST算子在每一个格网内部提取特 征点， 即FAST角点， 并分配给 所在格网， 若没有提取到特 征点， 则降低FAST阈值再次提取； 步骤204： 统计格网内在使用第一次FAST算子提取的特征点数目， 取出一定格网范围 (X1,Y1,X2,Y2)内FAST特征点数目最大的格网， 同时结合掩膜图像， 认为该格网和线段端点 的区域内存在大尺度特征点， 在降采样 影像上对应区域采用多尺度探测方法提取大尺度空 间下的显著特 征点， 即大尺度角点； 步骤205： 计算点线特征的描述符。 3.根据权利要求2所述的一种基于顶视点线特征融合的单目相机视觉里程计初始化方 法， 其特征在于， 所述的步骤20 5中， 计算 点线特征的描述符具体为： 对于线段 特征， 计算线段描述符； 对于大尺度角点特征， 搜索大尺度角点周围的线段， 计算线段方向， 并形成方向直方 图， 选取局部主方向， 依照局部主方向旋转大尺度角点周围设定邻域内的像素块， 并计算特 征点描述符。 4.根据权利要求1所述的一种基于顶视点线特征融合的单目相机视觉里程计初始化方 法， 其特征在于， 所述的步骤3中， 进行多 级点线融合特 征匹配的过程具体包括以下步骤： 步骤301： 获取左右影 像旋转角 步骤302： 对大尺度点线特征进行匹配， 以得到左右影像在不同区域下的近似平移旋转 变换关系； 步骤303： 在大尺度点线特 征的预匹配 基础上， 匹配左右影 像的底层特 征。 5.根据权利要求4所述的一种基于顶视点线特征融合的单目相机视觉里程计初始化方 法， 其特征在于， 所述的步骤3 01中， 获取左右影 像旋转角 的过程具体包括以下步骤： 步骤301A： 首先计算左右影 像的近似旋转角；权　利　要　求　书 1/3 页 2 CN 114444586 A 2步骤301B： 对右影像方向直方图施加角度偏移量 a(a＝b)， 计算与左影像方向直方图的 匹配分数y， 得到匹配序列( (a1,y1),(a2,y2). ..)； 步骤301C： 对步骤301B获取的匹配序列进行曲线拟合， 得到匹配分数y与角度偏移量a 之间的近似函数关系y＝f(a)； 步骤301D： 计算每一个角度偏移量a对应的匹配分数并获取最大匹配分数； 步骤301E： 搜索最大匹配分数对应的角度偏移量， 在其附近采用最优化方法求出曲线 极值， 极值 点对应的偏移量 为更精确的左右影 像旋转角 6.根据权利要求4所述的一种基于顶视点线特征融合的单目相机视觉里程计初始化方 法， 其特征在于， 所述的步骤3 02中， 对大尺度点线特 征进行匹配的过程具体包括以下步骤： 步骤302A： 在线特征匹配基础上加入大尺度点特征， 提供平移约束， 即根据左右影像旋 转角 描述符以及大尺度点线特征之间的空间关系对大尺度点线特征进行匹配， 在已有 的匹配方法上添加大尺度点特征和距离约束， 对提取得到的大尺度点线 特征分别根据描述 符筛选出候选匹配， 得到候选匹配集 合： 步骤302B： 在候选匹配集合中任选两组匹配对， 即大尺度点线特征组合， 计算每条线段 中点位置， 根据各类约束计算匹配对的一致性分数， 根据一致性分数构建任意匹配对的邻 接矩阵； 步骤302C： 采用谱方法获取使得邻接矩阵一致性最高的匹配对集合， 完成大尺度点线 特征匹配， 以得到左右影 像在不同区域下的近似平 移旋转变换关系。 7.根据权利要求6所述的一种基于顶视点线特征融合的单目相机视觉里程计初始化方 法， 其特征在于， 所述的步骤302A中， 候选匹配集合包括大尺度点匹配和线段匹配， 大尺度 点匹配具体为左影像和右影像的大尺度点相对应， 线段匹配具体为左影像和右影像的线段 相对应。 8.根据权利要求6所述的一种基于顶视点线特征融合的单目相机视觉里程计初始化方 法， 其特征在于， 所述的步骤302B中， 匹配对包括点 ‑点匹配对、 线 ‑线匹配对和点 ‑线匹配 对， 各类约束包括左右影像旋转角、 匹配对之间的投影比、 描述符距离、 左右影像旋转角和 中心相对偏移矢量。 9.根据权利要求4所述的一种基于顶视点线特征融合的单目相机视觉里程计初始化方 法， 其特征在于， 所述的步骤3 03中， 匹配左右影 像的底层特 征的过程具体包括以下步骤： 步骤303A： 对底层特征进行匹配， 判断底层特征点是否位于大尺度特征点设定的邻域 内， 若是， 则执 行步骤303B， 若否， 则执 行步骤303C； 步骤303B： 计算左右影像对应匹配上的大尺度特征点的局部主方向， 以局部主方向为 基准对齐左右影像原图匹配点周围的像素块， 对左右影像的像素块进行模板匹配， 计算局 部平面变换关系， 再对底层特 征进行亚像素精化， 得到底层特 征点的精确匹配； 步骤303C： 搜索底层特征周围的前N条线段， 计算线段方向进而得到局部旋转角度和局 部平面变换关系， 按照局部旋转角度计算描述符， 在右影像上按照局部平面变换关系开窗 搜索与左影 像上匹配的特 征点。 10.根据权利要求1所述的一种基于顶视点线特征融合的单目相机视觉里程计初始化 方法， 其特征在于， 所述的步骤4中， 根据底层特征点匹配结果进行单目初始化的过程具体权　利　要　求　书 2/3 页 3 CN 114444586 A 3