(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211159128.3 (22)申请日 2022.09.22 (71)申请人 广东省智能机 器人研究院 地址 523000 广东省东莞 市松山湖园区学 府路1号5 栋 (72)发明人 谢远龙　王书亭　刘宇　熊体凡　 王宇翔　张鸿洋　罗庆良　毛瑞琪　 黄禹　 (74)专利代理 机构 广东粤博专利商标代理事务 所(普通合伙) 44908 专利代理师 唐琴 (51)Int.Cl. G01C 21/20(2006.01) G06T 1/00(2006.01) G06T 7/73(2017.01) (54)发明名称 室内弱纹理环境下的移动机器人视觉定位 方法 (57)摘要 本发明公开了一种室内弱纹理环境下的移 动机器人视觉定位方法， 涉及机器人定位及控制 技术领域， 其包括： 信号光源以可见光的形式发 射编码信号， 移动机器人根据编码信号， 获得可 见光定位位姿； 移动机器人通过视觉相机获取环 境图像， 以获得图像特征定位位姿， 并使用图像 特征定位位姿对 可见光定位位姿进行校正， 以获 得优化位姿； 将可见光定位位姿作为初始位姿， 计算获得移动机器人的位姿， 并使用优化位姿对 移动机器人的位姿进行校正。 本发 明主要解决如 何提高弱纹理环境下的定位精度的问题； 移动机 器人能够结合可见光定位获得的可见光定位位 姿和图像特征定位获得的图像特征定位位姿， 获 得优化后的位姿， 以提高在弱纹理环 境下的视觉 定位可靠性。 权利要求书3页 说明书9页 附图2页 CN 115507854 A 2022.12.23 CN 115507854 A 1.一种室内弱纹理环境下的移动机器人视觉定位方法， 用于确定移动机器人的位姿， 其特征在于， 包括下述 步骤： S1、 对环境中的信号光源进行编码， 并通过所述信号光源以可见光的形式发射编码信 号； 移动机器人接收所述信号光源所发射的编 码信号， 并根据所述编 码信号， 获得所述移动 机器人的可 见光定位 位姿St(Xt,Yt,Zt, θt)； S2、 所述移动机器人通过视觉相机获取环境图像， 并对所述环境图像中的信号光源进 行识别和定位， 以获得所述移动机器人的图像特征定位位姿Mt(Xt,Yt,Zt, θt)； 使用所述移 动机器人的图像特征定位位姿Mt(Xt,Yt,Zt, θt)对所述移动机器人的可见光定位位姿St (Xt,Yt,Zt, θt)进行 校正， 以获得 所述移动机器人的优化 位姿Zt(Xt,Yt,Zt, θt)； S3、 将所述移动机器人的可见光定位位姿St(Xt,Yt,Zt, θt)作为初始位姿， 通过融合全 局特征的半稠 密直接法， 计算获得所述移动机器人的位姿Pt(Xt,Yt,Zt, θt)； 并使用所述移 动机器人的优化位姿Zt(Xt,Yt,Zt, θt)对所述移动机器人的位姿Pt(Xt,Yt,Zt, θt)进行校 正。 2.根据权利要求1所述的室内弱纹理环境下的移动机器人视觉定位方法， 其特征在于， 步骤S1中， 所述编码信号包括依次设置的起始位、 若干个编码字符位以及终止位； 所述起始位、 各个所述编码字符位以及所述终止位的占空比均为75％； 所述编码信号以所述起始位、 所述编码字符位以及所述终止位中间的跳变作为数字信 号， 从高位跳变至低位 为0， 从低位跳变至高位则为1； 所述编码字符位的数量 为 其中， k为环境中的信号 光源数量， N由l og2k向上取整而获得； 所述编码信号的发送周期长度大于所述编码信号的数据周期长度。 3.根据权利要求1或2所述的室内弱纹理环境下的移动机器人视觉定位方法， 其特征在 于， 步骤S1中， 移动机器人接收所述信号光源所发射的编码信号， 并根据所述编码信号， 计 算获得所述移动机器人的可 见光定位 位姿St(Xt,Yt,Zt, θt)， 具体包括下述 步骤： S1.1、 移动机器人通过CMOS传感器接收环境中的各个所述信号光源所发射的编码信 号； S1.2、 解析 出各个所述信号 光源所发射的编码信号； S1.3、 解析出各个所述信号光源相对于所述移动 机器人的可见光定位位置信息Lt{ L1, L1,…,Ln}； S1.4、 使用各个所述信号光源的编码信号， 结合各个所述信号光源相对于所述移动机 器人的可见光定位位置信息Lt{L1,L1, …,Ln}， 利用所述信号光源在地图数据库中的位置 信息， 确定所述移动机器人的可 见光定位 位姿St(Xt,Yt,Zt, θt)。 4.根据权利要求1所述的室内弱纹理环境下的移动机器人视觉定位方法， 其特征在于， 步骤S2中， 所述移动机器人通过视 觉相机获取环境图像， 具体为： 将所述移动机器人通过视觉相机获取环境图像的频率， 与所述信号光源发射编码信号 的频率同步； 在每个所述编码信号的发送周期完成时， 所述移动机器人通过视觉相机获取一帧所述 环境图像。权　利　要　求　书 1/3 页 2 CN 115507854 A 25.根据权利要求1或4所述的室内弱纹理环境下的移动机器人视觉定位方法， 其特征在 于， 步骤S2中， 对所述环境图像中的信号 光源进行识别， 具体为： 将YOLO对象检测模型用作信号光源识别的检测框架， 并用squeezeNet模型代替所述 YOLO对象检测模型中的dark net模型， 以改进所述YOLO对象检测模型。 6.根据权利要求5所述的室内弱纹理环境下的移动机器人视觉定位方法， 其特征在于， 步骤S2中， 对所述环境图像中的信号 光源进行识别和定位， 具体包括下述 步骤： S2.1、 定义YOLO对象检测模型的卷积神经网络模型， 并为所述卷积神经网络模型提供 初始参数值； S2.2、 向所述卷积神经网络模型输入关于所述信号光源的图像数据集和对应于所述图 像数据集的正确输出值， 对所述卷积神经网络模型进行训练， 以调整所述卷积神经网络模 型的参数值， 直至获得最优的卷积神经网络模型； S2.3、 使用具有所述最优 的卷积神经网络模型的YOLO对象检测模型， 对所述环境图像 中的信号 光源进行识别； S2.4、 在所述环境图像中， 对识别后的信号光源进行定位， 以获得所述信号光源的视觉 定位数据。 7.根据权利要求6所述的室内弱纹理环境下的移动机器人视觉定位方法， 其特征在于， 步骤S2中， 对所述环境图像中的信号光源进行识别和定位后， 获得所述移动机器人的图像 特征定位位姿Mt(Xt,Yt,Zt, θt)， 具体包括下述 步骤： S2a、 使用所述信号光源的视觉定位数据， 解析出各个所述信号光源相对于所述移动机 器人的图像特 征定位位置信息Kt{K1,K1, …,Kn}； S2b、 使用各个所述信号光源相对于所述移动机器人的图像特征定位位置信息Kt{K1, K1,…,Kn}， 基于最小距离的方法， 将所述图像特征定位位置信息Kt与步骤S1 中得到的所述 可见光定位位置信息Lt进 行匹配， 得到所述环境图像中识别出的各个信号光源与步骤S1中 通过所述CM OS图像传感器接收到的各个信号光源之间的对应 关系， 利用所述信号光源在地 图数据库中的位置信息， 确定所述移动机器人的图像特 征定位位姿Mt(Xt,Yt,Zt, θt)。 8.根据权利要求1所述的室内弱纹理环境下的移动机器人视觉定位方法， 其特征在于， 步骤S2中， 使用所述移动机器人的图像特征定位位姿Mt(Xt,Yt,Zt, θt)对所述移动机器人 的可见光定位位姿St(Xt,Yt,Zt, θt)进行校正， 以获得所述移动机器人的优化位姿Zt(Xt, Yt,Zt, θt)， 具体为： 将所述移动机器人的图像特征定位位姿Mt(Xt,Yt,Zt, θt)作 为卡尔曼滤波算法的观测 值， 以校正所述移动机器人的可见光定位位姿St(Xt,Yt,Zt, θt)， 并获得所述移动机器人的 优化位姿Zt(Xt,Yt,Zt, θt)。 9.根据权利要求1所述的室内弱纹理环境下的移动机器人视觉定位方法， 其特征在于， 步骤S3中， 将所述移动机器人的可见光定位位姿St(Xt,Yt,Zt, θt)作为初始位姿， 通过融合 全局特征的半稠 密直接法， 计算获得所述移动机器人的位姿Pt(Xt,Yt,Zt, θt)， 具体包括下 述步骤： S3.1、 对于任 意空间点P， 设其在前一时刻所 获取的环境图像中的像素坐标为P1， 并设其 在后一时刻所获取的环境图像中的像素坐标为P2， 则将像素坐标P1和像素坐标P2分别表示 为：权　利　要　求　书 2/3 页 3 CN 115507854 A 3