(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210833085.6 (22)申请日 2022.07.15 (71)申请人 上海交通大 学 地址 201599 上海市闵行区东川路80 0号 申请人 中国长峰机电技 术研究设计院 (72)发明人 王贺升　王光展　张金鹏　王辰浩　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 黄磊 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/254(2017.01) G06T 7/55(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于外部记忆的机器人导航方法及系统 (57)摘要 本发明提供了一种基于外部记忆的机器人 导航方法及系统， 包括： 里程计位姿估计模块输 入相邻两帧RGB图像， 处理后得到多尺寸特征图, 进行互卷积操作， 并经过更深网络层处理获得机 器人位姿估计； 将位姿作为输入， 并写入外部记 忆池， 同时从记忆池中读取包含机器人运动轨迹 信息的特征向量； 利用特征向量输出运动策略， 控制机器人运动； 对里程计位姿估计网络进行预 训练， 构建一体化网络优化策略， 对各模块进行 监督学习和强化学习联合优化。 本发 明将外部内 存资源与神经网络耦合， 并将传统对环境特征的 记忆改进为对历史位姿序列的记忆， 避免了冗余 环境特征带来的计算存储资源开销， 增大了网络 的记忆容量， 扩展了神经网络的功能。 权利要求书7页 说明书25页 附图3页 CN 115170666 A 2022.10.11 CN 115170666 A 1.一种基于 外部记忆的机器人导 航方法， 其特 征在于， 包括： 步骤S1： 输入相邻两帧RGB图像， 处理后得到多尺寸特征图,进行互卷积操作， 并经过更 深网络层处 理获得机器人位姿估计； 步骤S2： 将位姿作为输入并写入外部记忆池， 同时从记忆池中读取包含机器人运动轨 迹信息的特 征向量； 步骤S3： 利用特 征向量输出运动策略， 控制机器人运动； 步骤S4： 对里程计位姿估计网络进行预训练， 构建一体化网络优化策略， 对各模块进行 联合优化。 2.根据权利要求1所述的基于外部记忆的机器人导航方法， 其特征在于， 在所述步骤S1 中： 搭建里程计位姿估计网络， 网络输入为相邻两帧RGB图像， 输出为机器人位姿估计， 具 体而言包括如下步骤： 步骤S1.1： 相邻两帧RGB图像输入里程计位姿估计网络， 网络包含收缩部分和扩大部 分； 收缩部分由卷积层组成， 用于特 征提取； 扩大部分由反卷积层组成， 用于还原深度图； 步骤S1.2： 相邻两帧RGB图像分别经多卷积层卷积处理后得到两个特征图， 特征图进行 互卷积操作并经 过更深网络层处 理获得机器人位姿估计； 步骤S1.3： 当前时刻RGB图像经卷积后， 再通过反卷积逐步恢复原尺寸； 反卷积得到的 各尺寸特征图， 与收缩部分对应大小的特征图以及经上采样得到的深度图， 拼接起来作为 更深层反卷积层的输入， 得到不同分辨 率的深度图估计。 3.根据权利要求1所述的基于外部记忆的机器人导航方法， 其特征在于， 在所述步骤S2 中： 依照神经图灵 机结构， 搭建基于 外部记忆池的记 忆模块； 具体而言包括如下步骤： 步骤S2.1： 读取： 即通过位置 权重向量ωt对内存矩阵Mt中的N个内存单 元进行加权求和； 其中， 是t时刻的内存矩阵， 大小为N ×M， N为内存单元个数， M为每个内存 单元Mt(i)的长度； 位置权重 向量ωt的每一元素ωt(i)是t时刻每个内存单元Mt(i)对应的 权重大小， 且ωt的长度为 N； i＝1,2,...,N‑1,N， 为内存矩阵与位置 权重向量元 素索引； 因此， t时刻从内存中读取 出的向量rt为 步骤S2.2： 写入： 每次写入内存矩阵可分为两步： 擦除和新增， 先从t ‑1时刻的内存矩阵Mt‑1中擦除信息， 再新增信息生成t时刻的内存矩阵Mt： 擦除： 权　利　要　求　书 1/7 页 2 CN 115170666 A 2新增： 即完成了对内存矩阵的一次写入； 其中， 为由擦除操作获得的内存矩阵元素， 擦 除向量et、 新增向量at长度均为M， 位置权重向量ωt、 擦除向量et、 新增向量at都由控制器给 出， 可通过梯度下降法进行参数训练； 步骤S2.3： 更新 位置权重向量ωt； 即由t‑1时刻的位置权重向量ωt‑1、 t时刻的内存矩阵Mt以及可训练的控制器参数， 生成 t时刻的位置 权重向量ωt； 其中， 控制器参数包括： kt、 βt、 gt、 st、 γt； 更新位置权重向量的具体步骤如下： 步骤S2.3.1： 基于内容的寻址， 即生成基于内容的位置 权重向量 其中， kt是大小为1 ×M的关键向量， 通过相似性度量K计算与内存单元Mt(i)的相似度； βt用于放大或衰减精度； j＝1,2,. ..,N‑1,N， 为内存矩阵元 素索引； 计算向量u、 v的余弦相似度K的公式如下： 步骤S2.3.2： 基于位置的寻址： 插值操作： 由控制器生成一个阈值gt对当前的内容位置权重向量 与t‑1时刻的位置权重向量 ωt‑1进行插值操作， 计算结果即为插值操作的输出值 偏移操作： 对 中的每个元素 均认为和与它相邻的某些元素是相关的， 通 过循环卷积生成 的新元素 包含了 和周围元 素， 其中st是卷积核； 锐化操作： 把权值大小的区别进行强化， 通过控制器生成的参数γt， 对各个权值 进行指数运 算， 然后归一 化， 完成对位置 权重向量ωt的更新。 4.根据权利要求1所述的基于外部记忆的机器人导航方法， 其特征在于， 在所述步骤S3 中： 搭建策略输出模块， 基于当前传感器信息与记忆信息输出合适的运动策略， 控制机器权　利　要　求　书 2/7 页 3 CN 115170666 A 3