(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094646 3.1 (22)申请日 2022.08.08 (71)申请人 燕山大学 地址 066004 河北省秦皇岛市河北 大街西 段438号 (72)发明人 李艳文　刘建鑫　霍伟豪　庚士涵　 栗智民　彭宏鑫　杨毅　王登奎　 王华玮　程凯　罗子茂　姜森威　 刘子轩　陈念龙　张政　徐宗国　 (74)专利代理 机构 北京孚睿湾知识产权代理事 务所(普通 合伙) 11474 专利代理师 韩燕 (51)Int.Cl. G01B 11/24(2006.01) G01B 11/00(2006.01)G01S 7/481(2006.01) G01S 7/48(2006.01) G06T 7/73(2017.01) G06T 3/40(2006.01) (54)发明名称 基于视觉定位的管状构件内腔形状获取方 法及其扫描 装置 (57)摘要 本发明涉及一种基于视觉定位的管状构件 内腔形状获取方法及其扫描装置， 方法包括以下 步骤， 步骤一： 使用视觉定位系统获取三球靶标 中每个靶球的中心坐标； 步骤二： 对视觉定位系 统进行定位， 得到视觉定位系统的位姿； 步骤三： 对移动小车和激光扫描雷达进行定位； 步骤四： 根据每个时刻激光雷达旋转的角度及其坐标进 行点云拼接， 完成对管状构件内腔表面全部扫 描， 获取管状构件内腔形状。 本发明通过相似原 理和矩阵变换完成了管状构件内腔形状的拼接 计算， 提高了计算精度。 本发明所使用的扫描装 置能够进入狭小的管状构 件内部， 且不会对待测 管状构件造成损伤， 为管状构 件内部形状信息的 获取提供了高效率 解决方案 。 权利要求书4页 说明书11页 附图9页 CN 115388803 A 2022.11.25 CN 115388803 A 1.一种基于视觉定位的管状构件内腔形状获取方法， 其特征在于， 使用视觉系统采集 三球靶标的图像以对在管状构件内部移动的扫描装置进行定位， 使用激光雷达获取管状构 件内腔的形状数据， 其包括以下步骤： 步骤1： 使用视 觉定位系统获取三个靶球中每一个靶球的中心坐标， 具体如下： 利用视觉定位系统 的相机拍摄安装于管状构件内壁顶部的三球靶标， 得到三球靶标的 二维图像， 使用图像处 理软件进行识别， 获取的靶球的中心坐标如下 所示： Pc＝[u,v]T 式中： Pc表示靶球的中心在像素坐标系内的坐标； u表示靶球中心在像素坐标系内的横 坐标； v表示靶球中心在像素坐标系内的纵坐标； T表示矩阵的转置； 步骤2： 对视 觉定位系统进行定位， 得到 视觉定位系统的位姿， 其具体包括以下子步骤； 步骤21： 建立靶球中心在相机坐标系中的坐标和靶球 中心成像点在相机成像平面上的 坐标之间的关系； 已知靶球中心在相机坐标系中的坐标P＝(X,Y,Z)T和靶球中心成像点在相机成像平面 上的坐标Pd＝(Xd,Yd,f)T； 根据三角形相似原理， 能够获得 下式所示的关系： 式中： f表示相机成像平面到相机光心的距离， 即为焦距； X、 Y和Z分别表示靶球中心在 相机坐标系中的横坐标、 纵坐标和相机光轴方向上的坐标； Xd表示靶球中心成像点在相机 成像平面上的横坐标； Yd表示靶球中心成像点在相机成像平面上的纵坐标； 步骤22： 确定靶球中心在相机坐标系中的坐标和靶球 中心在像素坐标系中坐标的映射 关系； 根据靶球中心在相机成像平面上的坐标Pd和靶球中心在像素坐标系上的坐标Pc的关 系； 确定靶球中心在相机坐标系中的坐标P和靶球中心在像素坐标系中坐标Pc的映射关系， 如下式所示： 式中： K表示相机的内参数矩阵； cx和cy表示像素原点沿像素坐标系u轴和v轴平移的距 离； fx和fy表示图像沿u轴和v轴缩放的系数； P表示靶球中心在相机坐标系中的坐标； 步骤23： 确定靶球中心在相机坐标系中的坐标P与靶球中心在世界坐标系中的坐标PW的 映射关系； 靶球中心在相机坐标系中的坐标为P和靶球中心在世界坐标系中的坐标PW的映射关系 的获得方法如下 所示： P＝RPW+t 式中： R表示世界坐标系相对相机坐标系的旋转矩阵； t表示世界坐标系相对相机坐标 系的位移向量； PW表示靶球中心在世界坐标系中的坐标； 步骤24： 确定 视觉定位系统的位姿； 结合步骤22与步骤23的计算结果， 靶球中心在像素坐标系中的坐标Pc和靶球中心在世权　利　要　求　书 1/4 页 2 CN 115388803 A 2界坐标系中的坐标PW的映射关系的获得 方法如下 所示： 式中： XW表示靶球中心在 世界坐标系中的横坐标； YW表示靶球中心在世界坐标系中的纵 坐标； ZW表示靶球中心在世界坐标系中的横坐标轴和纵坐标轴所在平面法向量方向上的坐 标； t1、 t2和t3分别表示世界坐标系相对相机坐标系在X、 Y和Z方向的位移分量； rij(i＝ 1,...,3,j＝1,. ..3)表示旋转矩阵R的9个元 素； 世界坐标系原点设置在三球靶标的三个靶球中心 组成的三角形的几何中心上， 已知三 球靶标上的三个靶球中心在世界坐标中 的坐标PW， 每个靶球的中心在像素坐标系中的坐标 Pc经图像处理后得到， 将已知条件代入上式， 能够解出世界坐标系相对相机坐标系的旋转 矩阵R和世界坐标系相对相机坐标系的位移向量t， 能够得到 视觉定位系统的位姿； 步骤3： 对移动小车和激光扫描雷达进行定位； 根据视觉定位系统 的位姿和激光扫描雷达的旋转角度， 能够得到移动小车坐标系相对 于相机坐标系的变 换矩阵 移动小车坐标系原点在相机坐标系内的坐标 和激光 扫描雷达坐标系原点在移动小车坐标系内的坐标 根据步骤24中计算得到的世界坐标 系相对相机坐标系的旋转矩阵R和世界坐标系相对相机坐标系的位移向量t； 求得移动小 车 原点和激光扫描雷达原点相对世界坐标系的坐标 和 步骤4： 根据每个时刻激光雷达旋转的角度和激光扫描雷达的坐标进行点云拼接， 完成 对管状构件内腔表面全部扫描， 获取 管状构件内腔形状； 将激光雷达获得的形状数据中的每一个点在同一坐标系上进行表达， 表达方式如下式 所示： 式中： PWorld表示激光扫描雷达获得的点在世界坐标系中的坐标； 表示移动小车坐标 系相对于第1个三球靶标坐标系的变换矩阵； 表示借助第1个三球靶标进行定位时激光 扫描雷达获得的点在 移动小车坐标系中的坐标； 表示第2个三球靶标坐标系相对于第1个 三球靶标坐标系的变换矩阵； 表示移动小车坐标系相对于第2个三球靶标坐标系的变 换矩阵； 表示借助第2个三球靶标进行定位时激光扫描雷达获得的点在小车坐标系中 的坐标； 表示第i个三球靶标坐标系相对于第i ‑1个三球靶标坐标系的变 换矩阵； 表 示移动小车坐标系相对于第i个三球靶标坐标系的变换矩阵； 表示借助第i个三球靶标 进行定位时激光扫描雷达获得的点在小车坐标系中的坐标； i表示三球靶标序号； N表示三 球靶标总数。 2.根据权利要求1所述的基于视觉定位的管状构件内腔形状获取方法， 其特征在于， 所 述步骤22中的靶 球中心在成像平面 上的坐标Pd和靶球中心在像素坐 标系上的坐标Pc的关系权　利　要　求　书 2/4 页 3 CN 115388803 A 3