(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210231858.3 (22)申请日 2022.03.09 (71)申请人 华南理工大 学 地址 511458 广东省广州市南沙区环市大 道南路25号 华工大广州产研院 (72)发明人 李向阳　赵明君　孙宗海　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 王东东 (51)Int.Cl. G06K 9/62(2022.01) G06T 7/521(2017.01) G06T 7/70(2017.01) G06T 3/40(2006.01) G06V 10/80(2022.01) (54)发明名称 基于单目视觉与激光测距阵列的环境感知 融合方法及系统 (57)摘要 本发明公开了一种基于单目视觉与激光测 距阵列的环境感知融合方法及系统， 包括MCU电 路、 N个摄像头及N个激光测距阵列， 所述摄像头 及激光测距阵列分别与MCU电路连接， 每个激光 测距阵列的上方设置一个摄像头， N个激光测距 阵列实现移动机器人的360度环境感知， 相邻摄 像头间隔角度差为360/N度， 每个激光测距阵列 包括M个激光测距模块， 相邻激光测距模块的角 度差为360/N ×M。 本发明测量精度高、 相应速度 快、 测量范围广， 能够很好地与视觉信息相融合， 完成对目标和障碍物的感知。 权利要求书2页 说明书6页 附图4页 CN 114692731 A 2022.07.01 CN 114692731 A 1.一种基于单目视觉与激光测距阵列的环境感知融合系统， 其特征在于， 包括MCU电 路、 N个摄像头及N个激光测距阵列， 所述摄像头及激光测距阵列分别与MCU电路连接， 每个 激光测距阵列的上方设置一个摄像头， N个激光测距阵列实现移动机器人的360度环境感 知， 相邻摄像头间隔角度差为360/N度， 每个激光测距阵列包括M个激光测距模块， 相邻激光 测距模块的角度差为3 60/N×M。 2.根据权利要求1所述的环境感知融合系统， 其特征在于， 每个激光测距阵列的测量范 围大于对应 摄像头的视野范围。 3.根据权利要求1或2所述的环境感知融合系统， 其特征在于， 包括四个摄像头及四个 激光测距阵列， 相 邻摄像头间隔90度角， 每个激光测距阵列包括 五个激光测距模块,每个激 光测距模块实现前 方90度的探测， 相邻两个激光测距模块的平面夹角18 °。 4.根据权利要求3所述的环境感知融合系统， 其特征在于， 所述激光测距模块包括激光 测距传感器， 型号 为VL53L1X。 5.根据权利要求3所述的环境感知融合系 统， 其特征在于， 所述摄像头的型号OV5640， 其视场角为6 3°， 其中三个激光测距模块 位于摄像头的视野范围内。 6.一种实现权利要求3所述的环境感知融合系统的融合方法， 其特 征在于， 包括如下： S1初始化摄像头及激光测距模块， 所述激光测距模块为五个， 分别为第一、 第二、 第三、 第四及第五激光测距模块； S2摄像头获取一帧图像， 输入MCU电路， 得到位于摄像头视野范围内的第二、 第三及第 四激光测距模块的测距信息D2、 D3及D4， 进一 步得到三个测距信息中的最小距离值dmin； S3最小距离值与设定的避障距离阈值进行比较， 若小于避障距离阈值， 则执行S6避障 流程， 若大于避障距离阈值， 则执 行下一步骤； S4将获得的障碍物与地板间的边界从世界坐标系投影至像素坐标系， 得到障碍物与地 板间的边界在像素坐标系中的v轴坐标v1； S5从图像中分割出含有障碍物 的子图像， 并处理后进行障碍物边缘提取， 得到视野内 障碍物在像素图像中的左右边界信息； S6执行避障流 程。 7.根据权利要求6所述的融合方法， 其特征在于， 执行避障流程之前还包括设置优先级 步骤， 具体为： 将机器人前方45 °到135°的区域划分为五个扇区， 每个扇区内都包含一个偏转方向， 相 邻两个偏转方向间隔18 °， 每个扇区占有的角度为 18°， 五个扇区分别映射到像素坐标U轴的 I、 II、 III、 IV、 V五个分区， 其中分区III的优先级为1， 分区II和IV的优先级为2， 分区I和V的 优先级为3， 机器人优先向高优先级区域进行偏转。 8.根据权利要求7 所述的融合方法， 其特 征在于， 所述避障流 程包括： 首先， 根据障碍物边界信息判断五个分区中是否含有障碍物， 对于分区II、 III、 IV， 根 据障碍物左右 边界的u轴坐标来判断分区内是否含有障碍物； 对于 分区I和V， 根据第一及第 五激光测 距模块测得的距离值来判断， 若激光测 距模块的距离值小于避障阈值dth， 则代表 分区内有障碍物； 接着获取最优的偏转方向， 若分区III内没有障碍物， 系统保持原方向不变偏转角度为 0°； 若分区III内含有障碍物， 分区II或IV内没有障碍物， 则机器人向分区II或IV内的偏转权　利　要　求　书 1/2 页 2 CN 114692731 A 2方向旋转， 若分区II和IV内都不含障碍物， 则需要根据分区I和分区V的信息做判断， 若分区 I和分区V都含有或都未含有障碍物， 则机器人随机向分区II或IV 内的偏转方向旋转， 若分 区I内含有障碍物并且分区V内没有障碍物， 机器人向分区II内的偏转方向旋转， 反之， 向分 区IV内的偏转方向旋转； 若分区I、 II、 III内都含有障碍物， 并且分区I 或V内没有障碍物， 机 器人向分区I或分区V内的偏转方向旋转， 否则随机向其中一个方向旋转。 9.根据权利要求6所述的融合方法， 其特 征在于， 还 包括： 摄像机参数标定， 确定摄像机倾斜角及得到被测物体在像素坐标v轴上的近似投影位 置。 10.根据权利要求9所述的融合方法， 其特征在于， S5中得到视野内障碍物在像素图像 中的左右边界信息， 具体为： 对于左边界， 从子图像第一列开始， 遍历到最后一列， 得到的第 i个左边界， 满足以下条 件： 列数为第i列并且该列所有像素点的值不全为零， 或者该列所有像素点的值不全为零并 且前一列所有像素点的值都为零， 记录下该左边界的列数Li， 最终得到一个左边界点的集 合L＝{L1,...,Li}； 对于右边界， 从子 图像的最后一列开始， 遍历到第一列， 得到的第i个右边界满足以下 条件： 列数为最后一列并且该列所有像素点的值不全为零， 或者该列所有像素点的值不全 为零并且后一列所有像素点的值都为零， 记录下该左边界所在的列数Ri， 最终得到一个右 边界的集合R＝{R1,...,Ri}， 最后将集合L中的Lj和集合R中的Ri‑j进行配对， 得到视野 中多 个障碍物的左右边界信息 。权　利　要　求　书 2/2 页 3 CN 114692731 A 3