(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211037460.2 (22)申请日 2022.08.29 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 程向红　刘丰宇　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 许小莉 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/269(2017.01) G06T 7/73(2017.01) G06T 5/00(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于目标检测和特征点速度约束的动态视 觉SLAM方法 (57)摘要 本发明公开一种基于目标检测与特征点速 度约束的动态视觉SLA M方法， 属于计算机视觉和 深度学习技术领域。 该方法首先通过VOC数据集 和真实数据集对YOL O_v5s模型进行训练； 接着将 RGB‑D相机采集到的图像输入到训练好的YOLO_ v5s模型中得到潜在动态目标的检测框； 然后通 过ORB‑LK光流金字塔算法计算先验动态目标特 征点的相对运动速度； 根据目标在场景中的运动 状态判断目标的真实动态性并剔除动态特征点； 在后端优化中利用剩余静态特征点进行匹配与 位姿估计， 最终得到相机的最优运动轨 迹。 权利要求书3页 说明书8页 附图6页 CN 115115672 A 2022.09.27 CN 115115672 A 1.一种基于目标检测和特征点速度约束的动态视觉SLAM方法， 其特征在于， 该方法包 括如下步骤： （1） 利用PASCAL  VOC 2012数据集和所拍摄的真实场景数据集对YOLO_v5s模型进行训 练， 得到训练好的YOLO_v5s模型； （2） 通过RGB ‑D相机采集彩色和深度图像序列， 将当前时刻包含彩色和 深度图像的当前 帧输入到步骤 （1） 得到的训练好的YOLO_v5s模型中， 获得潜在动态目标的先验识别框； （3） 从步骤 （2） 当前帧获得的潜在动态目标的先验识别框中提取ORB特征点， 当采集到 包含彩色和深度图像的下一帧之后， 通过LK光 流算法追踪两帧之间的特 征点； （4） 引入特征金字塔， 从图像多尺度改进LK光流算法， 并计算两帧之间特征点的相对运 动速度； （5） 通过步骤 （4） 中的特征点相对运动 速度判断潜在动态目标的真实动态性， 根据潜在 动态目标在场景中的真实动态性剔除图像中的动态特 征点； （6） 剔除步骤 （5） 中的动态特征点后， 利用剩余的静态特征点进行特征匹配与相机位姿 估计， 最终得到相机的最优运动轨 迹。 2.根据权利要求1所述的一种基于目标检测和特征点速度约束的动态视觉SLAM方法， 其特征在于， 步骤 （1） 的具体方法是： 首先选择PASCAL  VOC 2012数据集中对YOLO_v5系列中网络深度最小的YOLO_v5s模型 进行第一次训练， 该数据集由现实世界中的对 象类组成； 然后采用所拍摄的真实场景数据 集对第一次训练后的模型进行第二次训练， 目标类别设定为数据集中潜在的动态对象。 3.根据权利要求1所述的一种基于目标检测和特征点速度约束的动态视觉SLAM方法， 其特征在于， 步骤 （2） 的具体方法是： 首先将RGB ‑D相机采集的包含彩色和深度图像的当前帧输入到步骤 （1） 里训练好的 YOLO_v5s模型中； 然后YOLO_v5s模型通过Focus结构对图片进行切片操作， 并经过CBL模块 进行卷积操作； 在Backbone中， 使用带残差结构的CSP1_X， 在Neck中使用CSP2_X； 接着将 Neck中输出的特征图输入到预测层部分， 采用CIOU_LossBounding  box损失函数最小化预 测框和目标框之间的归一化距离； 然后采用加权非极大值抑制的方式对多目标框进行筛 选； 最终得到潜在动态目标的先验识别框的位置以及顶点 坐标。 4.根据权利要求1所述的一种基于目标检测和特征点速度约束的动态视觉SLAM方法， 其特征在于， 步骤 （3） 的具体方法是： 先通过ORB算法提取经过畸变矫正、 去噪处理的图像 中的特征点； 然后利用帧间像素的 相似性， 通过LK光流求解位移向量以实现特征点附近一个矩形窗口的匹配与跟踪； 最后通 过最小化窗口内的像素 灰度差平方和来 求解像素点 光流d=[dx, dy]T， 如下式所示： 其中，x, y为特征邻域内的像素点， dx, dy分别表示 x和y方向上的光流， [ ·]T表示转 置，  表示最小化 dx,dy的函数，ux, uy分别表示像素点的横纵坐标， mx, my为以像素 点中心的矩形窗口长宽， Ii(x,y)表示第i帧像素点的灰度值， Ii+1(x+dx,y+dy)表示第i+1帧 像素点的灰度值。权　利　要　求　书 1/3 页 2 CN 115115672 A 25.根据权利要求4所述的一种基于目标检测和特征点速度约束的动态视觉SLAM方法， 其特征在于， 步骤 （3） 中所述ORB特征提取的具体方法是， 提取潜在动态目标检测框内的 FAST特征点， 定义图像矩为： 其中，a,b为矩的阶次， mab为a+b阶矩， 利用图像矩计算质心坐标 C， 并定义方向因子为图 像块中心到质心的方向角度 θ： 其中m10为a=1，b=0时的图像矩， m01为a=0，b=1时的图像矩， m00为a=0，b=0时的图像矩， arctan表示计算反正切； 然后引入旋转因子提取BRIEF描述子， 其核心思想是在特征点周围选取 n个点对, 并把 这n个点对的比较结果组合 起来作为描述子， 最终得到有旋转 不变性的ORB特 征点。 6.根据权利要求1所述的一种基于目标检测和特征点速度约束的动态视觉SLAM方法， 其特征在于， 步骤 （4） 的具体方法是： 引入特征金字塔模型， 从图像多尺度改进LK光流算法， 最终求解光流 d， 确保两帧间的 特征点在不同分辨率下均构成匹配点对； 将前一时刻的彩色图像和当前时刻的彩色图像进 行金字塔分层， 第 s层图像的光流分为猜测光流 gs=[gx, gy]T与剩余光流 rs=[rx, ry]T（s= 1,…,L‑1,L） ， 其中，gx, gy分别表示 x和y方向上的猜测光流， rx, ry分别表示 x和y方向上的 剩余光流， s表示第s层金字塔， L表示最上层金字塔； 定义猜测光流为上一层传递至下一层 的光流， 剩余光流为除猜测光流的剩余光流， 根据猜测光流定义， 第 L层， 即最上层猜测光流 gL为： 计算最上层剩余光流 rL， 根据图像金字塔相邻两层间缩放倍数为2的关系， 将第 L层剩余 光流与猜测光 流之和作为第 （ L‑1） 层猜测光 流gL‑1， 即： 计算第 （L‑1） 层剩余光流 rL‑1， 逐层递推至第0层， 计算第0层的猜测光流 g0和剩余光流 r0， 获得最终光 流值d为： 从图像多尺度求 解光流， 最终解 算得到特 征点的相对运动速度。 7.根据权利要求1所述的一种基于目标检测和特征点速度约束的动态视觉SLAM方法， 其特征在于， 步骤 （5） 的具体方法是： 在真实场景中， 由于存在处于准静态的目标在一段时间内是运动的， 处于动态的目标 在一段时间内却是静止的这两种情况， 对于真实场景中的目标需判断其真实动态性， 通过 步骤 （3） 中计算的特 征点相对运动速度判断目标的真实动态性， 如下式所示： 权　利　要　求　书 2/3 页 3 CN 115115672 A 3