(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210594240.3 (22)申请日 2022.05.27 (71)申请人 哈尔滨工程大 学 地址 150001 黑龙江省哈尔滨市南岗区南 通大街145号哈尔滨工程大学科技处 知识产权办公室 (72)发明人 王立鹏　张佳鹏　王学武　马文龙　 张智　张秋雨　 (51)Int.Cl. G06T 17/05(2011.01) G06T 7/70(2017.01) G06T 7/10(2017.01) G06V 10/762(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种室内移动机器人三维语义地图构建方 法 (57)摘要 本发明公开了一种室内移动机器人三维语 义地图构建方法， 通过机器人搭载的RGB ‑D深度 相机运行ORB ‑SLAM2算法， 获得机器人关键帧信 息与位姿， 将关键帧的RGB图与深度图通过反投 影形成空间点云； 对关键帧的空间点云进行滤波 处理并根据位姿进行拼接形成三维稠密点云地 图； 将关键帧 的RGB图利用YOL O V5网络进行目标 识别， 获得2D语义信息， 并根据反投影获得3D语 义标签； 通过点云分割算法对稠密点云地图进行 分割； 将获得的语义信息与稠密点云地图的分割 结果相融合， 构建得到3D语义地图。 本发明通过 对使用RGB ‑D深度相机采集的RGB ‑D信息进行处 理， 将语义信息与SLAM结果融合， 形成信息更为 丰富的三维地图。 权利要求书3页 说明书8页 附图7页 CN 115035260 A 2022.09.09 CN 115035260 A 1.一种室内移动机器人三维语义 地图构建方法， 其特 征在于， 包括以下步骤： 步骤1： 通过机器人搭载的RGB ‑D深度相机运行ORB ‑SLAM2算法， 获得机器人的关键帧信 息与对应的位姿， 将每一个关键帧对应的RGB图与深度图通过反投影形成单帧空间点云； 步骤2： 对关键帧对应的空间点云进行滤波处理， 并根据关键帧对应的位姿进行拼接形 成三维稠密点云地图； 步骤3： 将 关键帧对应的RGB图利用YOLO  V5网络进行目标识别， 获得关键帧中的2D语义 信息， 并根据反投影获得3D语义标签； 步骤4： 通过点云 分割算法对稠密点云地图进行分割； 步骤5： 将获得的语义信息与稠密点云地图的分割结果相融合， 构建得到 3D语义地图。 2.根据权利要求1所述的一种室内移动机器人三维语义地图构建方法， 其特征在于： 步 骤1包括： 在ORB‑SLAM2系统中的Tracking线程中增加对关键帧的处理， 获得关键帧对应 的空间 点云数据， 具体为： 对关键帧中的所有像素点进 行如下操作， 获得相机坐标系下关键帧的点 云数据： 设图像中某一像素点P ′坐标为[u,v]T， 相机的内参矩阵为K， 像素点对应的深度数 据为d， 则将该像素点 转换为相机坐标系下的三维点Pc(X′,Y′,Z′)为： 得到三维点Pc的空间坐标后， 再获取像素点P ′的RGB信息作为Pc的RGB信息， 对关键帧中 的所有像素点进 行如上操作， 通过P CL库的点云构 造函数， 得到所述关键帧在相机坐标系下 的点云数据； 然后将相机坐标系下关键帧的点云数据转换为世界坐标系下的点云数据： 设Pc转换为世界坐标系下的点 为Pw(X,Y,Z)， Pw(X,Y,Z)满足： 其中， Tcw为相机位姿。 3.根据权利要求1所述的一种室内移动机器人三维语义地图构建方法， 其特征在于： 步 骤2所述对关键帧对应的空间点云进行 滤波处理包括： 使用PCL点云库中的去离群点滤波器去除点云数据中的离群点， 对空间点云中每一个 点计算其到所有相邻点的平均距离， 平均距离在离群距离 阈值dpt之外的点， 认定为离群点 并从数据中去除。 然后通过体素网格滤波的方法， 对点云数据进行降采样。 4.根据权利要求3所述的一种室内移动机器人三维语义地图构建方法， 其特征在于： 所 述离群距离阈值dpt具体为： 设空间点云中所有点的距离服从正态分布( μ, σ2)， 判断是否为离群点的阀值参数为 Hout， 则离群距离阈值dpt为： dpt＝ μ+Hout·σ 。 5.根据权利要求1所述的一种室内移动机器人三维语义地图构建方法， 其特征在于： 步权　利　要　求　书 1/3 页 2 CN 115035260 A 2骤2所述根据关键帧对应的位姿 进行拼接形成三维稠密点云地图包括： ORB‑SLAM2系统中LoopClosing线程对检测到的闭环中 的关键帧位姿进行优化， 将闭环 优化后的相机位姿发生变化的关键帧提取出来， 然后删除世界坐标系下该关键帧对应的点 云数据并根据闭环优化后的相 机位姿重新生成对应的点云数据， 再投影到世界坐标系中， 构建出三维稠密点云地图。 6.根据权利要求1所述的一种室内移动机器人三维语义地图构建方法， 其特征在于： 步 骤3包括： 步骤3.1： 建立基于 YOLO V5网络模型的数据集 拍摄目标物体图片得到数据集， 使用标注程序Labelimg对采集的数据集进行标注， 并 打上标签， 从拍摄图片中分别选取训练集和测试集； 从COCO数据集中选取包含目标物体的 图片分别作为训练集和测试集； 对YOLO  V5网络进行数据配置和模 型训练参数设置， 数据配 置包括物体类别数和物体类别名称， 利用训练集对YOLO  V5网络模 型参数进 行训练， 利用测 试集对网络模型进行验证； 步骤3.2： 提取2D目标语义和构建3D语义标签 使得YOLO  V5网络调用RGB ‑D深度相机采集RGB图像信息， 实时获得RGB图像中 的2D识别 框作为2D目标语义信息； 在ORB‑SLAM2的Tracking线程中添加接口读取实时产生 的关键帧， 利用训练好 的YOLO  V5网络模型对每一个新产生的关键 帧进行目标检测得到目标物体中心点的像素坐标与边 界框的长和宽， 然后根据该关键帧对应的RGB图与深度图生 成空间点云数据时， 将目标物体 2D边界框中所有像素点的RGB信息更改为设定的颜色信息， 此时根据关键帧生成的单帧点 云数据便具有3D语义标签， 再将得到的关键帧点云数据结合位姿估计的结果反投影到世界 坐标系中完成点云拼接， 得到带3D语义标签的全局稠密点云地图， 即给点云地图中目标物 体的点云添加颜色信息 。 7.根据权利要求1所述的一种室内移动机器人三维语义地图构建方法， 其特征在于： 步 骤4所述通过点云 分割算法对稠密点云地图进行分割包括： 步骤4.1： 采用超体素聚类分割方法对稠密点云地图进行分割， 将点云转换为表面结 构， 分割结果采用邻接图G＝{v, ε}表示， 其中vi∈v为分割得到的曲面块， ε表示连接着相邻 的曲面块(vi,vj)， 每一个曲面 块包含一个质心ci和一个法向量 ni； 步骤4.2： 在得到曲面块后， 使用RANSAC处理曲面块生成候选平面PC＝{pc1,pc2,…, pcm}， 然后计算曲面块质心ci到平面pcm的距离d(ci,pcm)， 设定阈值δ， 得到所有到平面pcm距 离在 δ 内的曲面 块， 命名为Π＝{vi∈V|d(ci,pcm)＜ δ }， 定义： 其中， η表示区分前景物 体与背景的约束条件， D(pcm)表示点云平面的权重， 图分割问题 的最小化能量P*为： P*＝arg min E(P), 其中， E(P)为拟合的能量， 满足：权　利　要　求　书 2/3 页 3 CN 115035260 A 3