(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210473939.4 (22)申请日 2022.04.29 (71)申请人 哈尔滨工程大 学 地址 150001 黑龙江省哈尔滨市南岗区南 通大街145号哈尔滨工程大学科技处 知识产权办公室 (72)发明人 徐硕　高靖萱　马腾　凌宇　 姜言清　刘善昌　丁硕硕　孙祥仁　 田恩农　张文君　李晔　 (51)Int.Cl. G06V 20/20(2022.01) G06V 10/75(2022.01) G06V 20/40(2022.01) G06V 10/44(2022.01) G06V 10/62(2022.01) G06F 17/16(2006.01) (54)发明名称 一种基于双目视 觉的物体表达方法 (57)摘要 本发明属于机器人导航技术领域， 具体涉及 一种基于双目视觉的物体表达方法。 本发明通过 机器人搭载的双目相机获取关于场景的当前帧 图像； 从当前帧左右图像中检测场景里的物体； 对得到的左右图像中的物体进行匹配， 完成相同 物体的配对； 利用卡尔曼滤波与匈牙利匹配对双 目帧间的物体进行跟踪， 一旦检测到相同物体， 利用两帧中的四张图像完成对物体的语义信息 提取， 包括物体的大小， 位置和姿态。 本发明提出 了一种可靠性好、 适用性广的物体表达方法， 保 证场景中任意形状的物体都能提取出有价值的 语义信息， 从而促进视觉同步定位与建图的精度 和语义性。 权利要求书3页 说明书8页 附图4页 CN 115049949 A 2022.09.13 CN 115049949 A 1.一种基于双目视 觉的物体表达方法， 其特 征在于， 包括以下步骤： 步骤1： 利用机器人 搭载的双目相机， 采集场景中的当前帧图像对； 步骤2： 物体单帧识别与匹配： 对左右图像分别进行物体识别， 将得到的物体矩形框利 用像素重 叠度判别是否为同一物体， 完成匹配并进入步骤3； 步骤3： 物体帧间跟踪： 通过步骤2得到物体集合后， 对每个物体判断是否在历史帧中出 现， 对已出现的物体进 行归类， 对未出现的物体进 行跟踪初始 化， 对跟踪失败的物体进行剔 除， 进入步骤4； 步骤4： 物体语义信息提取： 将步骤3已跟踪超过两帧的物体进行语义信息的提取， 进入 步骤5； 步骤5： 输出场景物体的语义信息， 结束。 2.根据权利要求1所述的一种基于双目视觉的物体表达方法， 其特征在于： 所述的步骤 2具体为： 步骤2.1： 物体信息提取； 定义图像中物体的信息为： B＝(w,h,b, σ,c) 其中， w和h表示物体矩形框的像素长度和宽度； b＝(u,v)表示矩形框的中心像素位置； σ 和c分别表示矩形框的置信度和物体 类别； 对左右图像进行物体识别， 得到图像中所有的物体： OL＝{BLi＝(wLi,hLi,bLi, σLi,cLi)|cLi∈C, σLi∈[0,1],i ＝1,2,...,k} OR＝{BRi＝(wRi,hRi,bRi, σRi,cRi)|cRi∈C, σRi∈[0,1],i ＝1,2,...,m} 其中， OL和OR表示当前帧左右图像中的所有物体集合； k和m表示当前帧左右图像中的所 有物体数量； C表示先设置的物体 类别集合； 步骤2.2： 单帧物体匹配； 定义物体之间的像素重 叠度为： 其中， S(·)＝w·h表示矩形框的面积； A,B表示图像上的两个物体； 将双目单帧左图上的物体依次计算与右图上物体的像素重叠度， 选出重叠度最大的作 为其候选匹配对， 形成候选匹配对集 合： Mcan＝{(BLcan,BRcan)|BLcan∈OL,BRcan∈OR}； 步骤2.3： 误匹配判别： 对候选匹配对集合Mcan中的任意一个匹配对(BLcan_i,BRcan_i)， 首 先利用双目特性约束判别矩形框中心b＝(u,v)的相对位置， 若不满足uLcan＜uRcan和|vLcan‑ vRcan|＜10， 则剔除该候选匹配对， 进入步骤2.4； 步骤2.4： 重 复性检验； 在完成所有候选 匹配对的相对位置判别后， 若集合Mcan中存在两 个或多个候选匹配对中有同一物体信息B， 则将这些候选匹配对全部剔除， 保证每个物体信 息至多出现在一个候选匹配对中， 进入步骤2.5； 步骤2.5： 最终得到双目单帧左右图像的匹配对集合， 即每个匹配对表示同一物体在左 右图像上的成像信息： M＝{(BLM,BRM)|BLM∈OL,BRM∈OR}。 3.根据权利要求1所述的一种基于双目视觉的物体表达方法， 其特征在于： 所述的步骤权　利　要　求　书 1/3 页 2 CN 115049949 A 23具体为： 步骤3.1： 判断当前关键帧是否为初始关键帧， 即i＝0， 若当前关键帧是初始关键帧， 则 执行步骤3.2； 否则， 执 行步骤3.3； 步骤3.2： 初始化跟踪系统， 设置卡尔曼滤波的跟踪子变量为 和 表 示矩形框中心 位置像素坐标的速度大小； 设置过程协方差矩阵P、 测量协方差矩阵Q、 测量矩 阵R中变量的的噪声， 设置转换矩阵H、 卡尔曼增益矩阵K、 状态转移矩阵F； 根据初始关键帧 配对集合M0中的左图结果 初始化跟踪变量 X0中跟踪的物体个数与 一致， 所有的 和 均初始化 为0， 进入步骤3.3； 步骤3.3： 物体运动预测： 对上一关键帧的跟踪变量Xi‑1进行预测， 得到当前关键帧中物 体的先验状态 以及先验的过程协方差矩阵 步骤3.4： 物体匹配： 计算物体先验信息 中每个矩形框与物体测量信息 中所有 矩形框的像素重 叠度， 并将其数值取负， 形成匹配的代价矩阵， 进 而得到匹配结果； 步骤3.5： 更新物体运动状态： 根据匹配结果从Xi‑1中筛选出跟踪成功的物体集合 并更新其状态： 其中， I为单位阵； Ki为卡尔曼增益； Zi为测量值， 根据匹配结果从 中得出； 步骤3.6： 更新跟踪系统： 对 中未匹配上的物体进行卡尔曼滤波初始化， 初始化参数 与步骤3.2中一致， 并添加到跟踪成功的物体集合 中， 最终形成当前关键帧的跟踪变量 Xi。 4.根据权利要求1所述的一种基于双目视觉的物体表达方法， 其特征在于： 所述的步骤 4具体为： 步骤4.1： 物 体条件判别： 从当前关键帧的跟踪物 体Xi中筛选出跟踪次数大于2且没有 提 取语义信息的物体， 组成集 合Oi＝{o1,o2,...,ol}， 进入步骤4.2； 步骤4.2： 物体 语义信息恢复： 对集合Oi中的任一物体oi， 从历史跟踪过程中得到双目两帧上的检测矩形框， 即4个矩 形框， 根据矩形顶点坐标转换成16条直线集合 每条直线用三个参数表示， 即l＝(a,b,c,1)； 空间平面与相机平面相交是一条直线： π ＝PTL 其中， π＝( π1, π2, π3, π4)表示空间中的某一平面， 由四个参数表示； P＝K[R|t]表示相机权　利　要　求　书 2/3 页 3 CN 115049949 A 3