(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210744160.1 (22)申请日 2022.06.27 (71)申请人 东南大学 地址 211100 江苏省南京市江宁区东 南大 学路2号 (72)发明人 耿可可　成小龙　殷国栋　庄伟超　 王金湘　张宁　 (74)专利代理 机构 北京德崇智捷知识产权代理 有限公司 1 1467 专利代理师 曹婷 (51)Int.Cl. G06T 17/05(2011.01) G06T 7/80(2017.01) G06V 10/24(2022.01) G06V 10/26(2022.01)G06V 10/762(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/08(2006.01) (54)发明名称 一种基于激光与视觉融合的语义地图构建 方法 (57)摘要 本发明公开了一种基于激光与视觉融合的 语义地图构建方法， 涉及无人驾驶SLAM技术领 域， 解决了无人驾驶技术中大规模闭环检测鲁棒 性差和构建点云地图缺失语义信息的技术问题， 其技术方案要点是利用环视摄像头模组采集周 围环境的 图片数据， 再将图片传入到DeepLabv3+ 网络进行语义分割， 再利用相机和激光雷达之间 的投影关系， 将图片中的语义信息投影到点云上 构建语义点云地图， 运用语义信息改进LeGO ‑ LOAM算法达到优化定位建图的目的， 还能够利用 图片数据进行运用CALC无监督学习网络进行闭 环检测来优化矫正位姿， 提高SLAM系统的鲁棒 性。 该方法所构建的地图能够实现大规模建图， 语义信息 丰富， 有较强的鲁棒 性。 权利要求书3页 说明书6页 附图3页 CN 115187737 A 2022.10.14 CN 115187737 A 1.一种基于 激光与视 觉融合的语义 地图构建方法， 其特 征在于， 包括： S1： 对车辆传感器进行联合标定， 得到各传感器的内参矩阵和外参矩阵； 所述传感器包 括4个环视安装的相机、 一个16线激光雷达和一个IMU； S2： 所述相机获取图片数据后， 对所述图片数据的重合部分进行裁剪得到裁剪后图片， 然后将时间戳相同的4张裁剪后图片输入到DeepLabv3+网络进行语义分割， 得到语义分割 后的图片； S3： 所述激光雷达对点云数据进行采集， 根据相机和激光雷达的外参矩阵将语义分割 后的图片投影到同时间戳的点云数据上进行 数据融合， 得到具有语义信息的语义 点云； S4： 对所述语义点云进行预处理， 然后对每帧点云的特征点进行提取， 激光里程计根据 相邻帧的特 征点之间的关系计算相机和激光雷达的位姿； S5： 通过松耦合的L IO模型结合IMU的位姿运动对相机和激光雷达的位姿 进行矫正； S6： 通过LeGO ‑LOAM算法结合矫正后的相机和激光雷达的位姿对所述语义点云进行建 图， 得到语义 点云地图。 2.如权利要求1所述的语义地图构建方法， 其特征在于， 该方法还包括S7： 基于视觉闭 环检测对相机的当前图片数据和历史图片数据进 行闭环检测， 从而对激光雷达的点云数据 进行位姿修 正， 修正后的位姿再反馈 至步骤S6， 以对所述语义 点云地图进行修 正。 3.如权利要求1所述的语义地图构建方法， 其特征在于， 所述步骤S1中， 所述联合标定 包括： 先对4个环视安装的相机进行标定， 得到每个相机的内参， 所述内参包括焦距、 主点和 失真系数； 通过ROS功能包Lidar_camera_calib ration对相机和激光雷达进行联合标定， 包括： 将 激光雷达坐标系作为世界坐标系， 通过外参矩阵([R,t])和相 机的内参矩阵(fu,fv,u0,v0) 将激光雷达坐标系下的点云(xw,yw,zw)转化成相机平面 坐标(u,v)， 转换公式表示 为： 激光雷达与 IMU的联合标定包括： 将点云数据的相对坐标、 IMU的运动变换与转换矩阵M 相结合， 从而将 激光雷达扫描一周的点融合成一个点云； 其中， 转换矩阵M的计算过程包括： 计算每一 点与其最邻近点云之间的距离之和D， 使D最小则得到所述 转换矩阵M； 其中， R表示旋转矩阵， t表示平移矩阵， fu表示x轴方向焦距的长度， fv表示y轴方向焦距 的长度， u0表示像素在x轴上的实际位置， v0表示像素在y轴上的实际位置 。 4.如权利要求1所述的语义地图构建方法， 其特征在于， 所述步骤S3中， 所述数据融合 包括： 根据相机和激光雷达的外参矩阵将语义分割后的图片投影到同时间戳的点云数据 上， 根据点云深度信息来优化图像语义分割结果的掩膜， 并将没有投影到的点云数据去除， 完成对点云数据的分割； 其中， 投影前的点云数据格式为PointXYZI， 投影后的点云数据格 式为PointXYZRGBI， Po intXYZRGBI格式包括 点云的位置信息、 颜色信息和强度。 5.如权利要求1所述的语义地图构建方法， 其特征在于， 所述步骤S4中， 对所述语义点权　利　要　求　书 1/3 页 2 CN 115187737 A 2云进行预处理包括： 对所述语义 点云进行去噪和去除地 面点云； 其中， 对所述语义点云进行去噪包括： 将点云返回的无效点和丢失点进行去除， 然后将 语义信息投影有误的点进行修 正； 去除地面点云包括： 对地面点直接进行去除， 对剩余点云进行聚类， 将剩余点云中大小 不符合预设阈值的点云簇进行剔除。 6.如权利要求5所述的语义地图构建方法， 其特征在于， 所述步骤S4中， 对每帧点云的 特征点进行提取包括： 将去除地面点的点云投影成1800*16的深度图像， 并将该深度图像按照横坐标平均分 成6个子图像； 通过改进LeGO ‑LOAM算法根据语义信息在所述子图像中选取面特征候选点和线特征候 选点， 包括： 设pi为点云中的一点， S表示和pi同一行连续点的集合， 且S分布于pi的两侧； 选 取S为10， 定义一个阈值M， 将S中的所有点与pi的语义进行比较， 如果相同则M+1， 若M>8则认 为此点为面特征候选点， 放入集合Ff中； 若M<6则认为此点为线特征候选点， 放入集合Fl中； 则pi表示为： 计算每个子图像的Ff集合中所有点的平滑度， 每一行选择最小的4个点保存到 计算 每个子图像的Fl集合中所有点的平滑度， 每一行选择最大的2个点保存到 其中， 表示 所有子图像的面特 征点集合， 表示所有子图像的线特 征点集合； 平滑度c的公式如下： 其中， Xpi表示pi对应的激光雷达坐标系下的坐标； 最后通过改进LeGO ‑LOAM算法中的分段式L ‑M优化算法得到激光雷达帧间的位姿[tx, ty,tz, θroll, θpitch, θyaw]； 其中， tx,ty,tz分别表示在x,y,z轴上平移的距离； θroll, θpitch, θyaw分别表示绕x,y,z轴 旋转的角度。 7.如权利要求2所述的语义地 图构建方法， 其特征在于， 所述步骤S7中， 通过CALC无监 督学习网络进行视 觉闭环检测， 包括： 定时获取关键帧， 所述关键帧包括4张裁剪后图片， 对4张裁剪后图片进行拼接得到拼 接图片， 将拼接图片转 化为灰度图； 通过直接计算所述灰度图的定向梯度直方图HOG得到HOG特征矩阵， 将所述HOG特征矩 阵存储至场景 数据库中； 将所述灰度图进行扭曲裁剪后输入到抗噪编码器得到和所述HOG特征矩阵维度一样的 特征矩阵， 将所述H OG特征矩阵与所述特征矩阵进 行匹配， 若匹配程度大于阈值D， 则所述关 键帧找到匹配图片； 若所述关键帧之后的连续2个关键帧都找到匹配图片， 则所述关键帧找到闭环；权　利　要　求　书 2/3 页 3 CN 115187737 A 3