(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210779078.2 (22)申请日 2022.07.04 (71)申请人 黑龙江大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路74号 (72)发明人 冉陈键　夏品泉　 (74)专利代理 机构 哈尔滨市阳光惠远知识产权 代理有限公司 2321 1 专利代理师 陈晶 (51)Int.Cl. G06V 10/75(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/40(2022.01)G06T 5/30(2006.01) G06T 7/13(2017.01) (54)发明名称 多透明物体环境下的室内稠密点云快速 SLAM方法及系统 (57)摘要 本发明公开了一种多透明物体环境下的室 内稠密点云快速SLAM方法及系统， 其中， 该方法 包括： 采集RGB图片进行处理得到帧； 进行ORB特 征点采集获得关键点坐标； 对前后帧进行特征点 匹配并求解最优位姿,当前帧Frame为关键帧时 送入识别线程， 使用YoloV4 ‑tiny判断是否有透 明物体， 若有则送入DZ ‑SD‑DIV模块中提取主体 轮廓， 并进行聚类得到体素深度信息； 同时将关 键帧输入精细轮廓提取模块中提取轮廓， 将轮廓 输入GNN‑SVO神经网络中输出预测深度信息； 将 两种信息进行深度信息融合， 再将融合后的关键 帧传入建图线程。 该方法在 多透明物体或者多黑 色物体的环 境下， 快速实时进行同步定位与稠 密 建图。 权利要求书2页 说明书10页 附图3页 CN 115294372 A 2022.11.04 CN 115294372 A 1.一种多透明物体环境下的室内稠密点云快速SLAM方法， 其特 征在于， 包括以下步骤： 步骤S1， 采集RGB图片与深度信息图片， 并将所述RGB图像与所述深度信息图片进行处 理， 得到帧Frame； 步骤S2,对所述帧Frame中的RGB图片进行ORB特征点采集， 获得关键点坐标， 以用于描 述子生成； 步骤S3， 对前后帧进行特征点匹配， 通过比较两幅RGB图像各个描述子点对的距离， 选 取最小距离使得每对特 征点匹配完成； 步骤S4， 匹配完成后， 通过PnP算法和跟踪策略求 解最优位姿， 再进行优化跟踪； 步骤S5,判断当前帧Frame 是否为关键帧keyFrame， 若是送入透明物体识别线程； 步骤S6,当所述透明物体识别线程接收到所述关键帧keyFrame， 使用YoloV4 ‑tiny轻量 化深度学习框架判断是否有透明物体， 若存在透明物体， 则将所述关键帧keyFrame送入DZ ‑ SD‑DIV模块中进行处理， 提取透明物体的主体轮廓， 利用K ‑Mean算法进行聚类， 膨胀后进行 腐蚀， 得到所述主体 轮廓的体素深度信息； 步骤S7,同时将所述关键帧keyFrame输入精细轮廓提取模块中， 精细提取透明物体轮 廓， 并将所述透明物体 轮廓输入GN N‑SVO神经网络中， 输出 预测深度信息； 步骤S8,将所述体素深度信息和所述预测深度信息进行深度信息融合， 再将融合后的 关键帧传入建图线程， 同时将所述关键 字传入回环检测线程。 2.根据权利要求1所述的多透明物体环境下的室内稠密点云快速SLAM方法， 其特征在 于， 所述步骤S2具体包括： 步骤S201,根据所述帧Frame中的RGB图片生成图像金字塔； 步骤S202,利用FAST特 征点提取策略提取 所述图像金字塔的关键点； 步骤S203,计算所述关键点的质心角度， 并对所述质心角度进行变换 得到关键点 坐标。 3.根据权利要求1所述的多透明物体环境下的室内稠密点云快速SLAM方法， 其特征在 于， 所述跟踪 策略包括： 恒速模型跟踪、 参考帧跟踪和重定位跟踪， 其中， 所述恒速模型跟踪 的优先级最高， 所述参考帧跟踪优先级第二， 当前两种跟踪 策略失败时， 使用所述重定位跟 踪。 4.根据权利要求3所述的多透明物体环境下的室内稠密点云快速SLAM方法， 其特征在 于， 所述恒速模型跟踪的具体处 理过程为： 当每个帧完成当前帧的位姿跟踪后， 计算当前一帧的速度； 当下一时刻的帧传入时， 则使用上一时刻的帧的速度初始化当前一帧的位姿； 进行非线性优化， 最小重投影误差求解所述最优位姿， 再剔除优化后的匹配点中的外 点。 5.根据权利要求3所述的多透明物体环境下的室内稠密点云快速SLAM方法， 其特征在 于， 所述参考帧跟踪的具体处 理过程为： 将当前帧的描述子转化为BoW向量， 通过词袋BoW加速当前帧与参考帧之间的特征点匹 配； 将上一帧的位姿作为当前帧位姿的初始值， 进行非线性优化， 最小重投影误差求解所 述最优位姿， 再剔除优化后的匹配点中的外点。 6.根据权利要求3所述的多透明物体环境下的室内稠密点云快速SLAM方法， 其特征在权　利　要　求　书 1/2 页 2 CN 115294372 A 2于， 所述重 定位跟踪的具体过程 为： 计算当前帧特征点的词袋向量， 通过词袋搜索keyFrame找到与当前帧相似的候选关键 帧； 将当前帧与候选关键帧进行Bo W匹配； 通过EPnP算法估计初始位姿， 进行非线性优化， 最小重投影误差求 解所述最优位姿。 7.根据权利要求1所述的多透明物体环境下的室内稠密点云快速SLAM方法， 其特征在 于， 所述DZ ‑SD‑DIV模块采用耦合关键帧中RGBD 升序信息图的三种变量， 以提取透明物体的 主体轮廓， 其中， 所述三种变量包括： 高概率零深度状态的体素、 使用符号距离函数判断高 概率深度异常状态的体素和使用深度信息 差判断高概 率深度异常状态的体素。 8.一种多透明物体环境下的室内稠密点云快速SLAM系统， 其特 征在于， 包括： 图片采集模块， 用于采集RGB图片与深度信息图片， 并将所述RGB图像与所述深度信息 图片进行处 理， 得到帧Frame； 特征点采集模块,用于对所述帧Frame中的RGB图片进行ORB 特征点采集， 获得关键点坐 标， 以用于描述子生成； 匹配模块， 用于对前后帧进行特征点匹配， 通过比较两幅RGB图像各个描述子点对的距 离， 选取最小距离使得每对特 征点匹配完成； 求解模块， 用于匹配完成后， 通过PnP算法和跟踪策略求 解最优位姿， 再进行优化跟踪； 判断模块， 用于判断当前帧Frame 是否是关键帧keyFrame， 送入透明物体识别线程； 第一处理模块,用于当所述透明物体识别线程接收到所述关键帧keyFrame， 使用 YoloV4‑tiny轻量化深度学习框架判断是否有透明物体， 若存在透明物体， 则将所述关键帧 keyFrame送入DZ ‑SD‑DIV模块中进行处理， 提取透明物 体的主体轮廓， 利用K ‑Mean算法进行 聚类， 膨胀后进行腐蚀， 得到所述主体 轮廓的体素深度信息； 第二处理模块,用于同时将所述关键帧keyFrame输入精细轮廓提取模块中， 精细提取 透明物体 轮廓， 并将所述透明物体 轮廓输入GN N‑SVO神经网络中， 输出 预测深度信息； 建图模块,用于将所述体素深度信息和所述预测深度信息进行深度信息融合， 再将融 合后的关键帧传入建图线程， 同时将所述关键 字传入回环检测线程。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处 理器执行所述计算机程序时实现权利要求1 ‑7中任一项所述方法的步骤。 10.一种非临时性计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计 算机程序被处 理器执行时实现权利要求1 ‑7中任一项所述的方法的步骤。权　利　要　求　书 2/2 页 3 CN 115294372 A 3