(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211019775.4 (22)申请日 2022.08.24 (71)申请人 东北大学 地址 110819 辽宁省沈阳市和平区文化路3 号巷11号 (72)发明人 王璐　王帅　李伟曦　常宏达　 崔凯宁　李传文　邓庆绪　 (74)专利代理 机构 沈阳东大知识产权代理有限 公司 21109 专利代理师 李在川 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/254(2017.01) G06T 7/80(2017.01) G06T 7/73(2017.01)G06V 20/40(2022.01) (54)发明名称 基于视频和点云数据的雪车雪橇三维滑行 轨迹提取方法 (57)摘要 本发明公开了基于视频和点云数据的雪车 雪橇三维滑行轨迹提取方法， 所述方法包括： 基 于3D点云和视频帧关键点匹配点对的摄像机标 定； 基于场景内容的视频数据切分； 拟合赛道两 侧边缘的曲线以避免赛道外移动物体对检测的 干扰； 利用背景差分法检测雪车雪橇位置； 利用 卡尔曼滤波进行跟踪； 跟踪完成后对轨迹进行平 滑处理； 滑行轨迹的2D坐标转换为3D坐标。 本发 明使用视频帧和点云关键点坐标对集合估计摄 像机参数， 可在无标定物的情况下 获得准确的摄 像机标定结果， 节省人力和成本； 通过利用赛道 表面约束建立2D ‑3D映射表进行2D坐标到3D坐标 的转换； 在不需要繁杂人工标注的情况下， 准确 提取雪车雪橇的2D滑行轨迹， 并将其转换为3D轨 迹。 权利要求书4页 说明书8页 附图3页 CN 115375733 A 2022.11.22 CN 115375733 A 1.基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法， 其特征在于： 包括以下步 骤： S1： 获取赛场3D点云数据及通过多个摄像机拍摄雪车雪橇在赛道上的滑行视频， 并根 据同步的时间信息将多个 摄像头摄像机拍摄的视频组合 为记录雪车雪橇滑行 过程的视频； S2： 视频数据预处理， 将记录雪车雪橇滑行过程的视频切分为若干个视频段， 每个视频 段对应一个 摄像机， 进一 步将视频 段按帧切分为若干图像； S3： 通过对所有摄像机分别进行标定估计出所有摄像机的参数， 生成每个摄像机对应 的赛道表面2D‑3D坐标映射表； S4： 针对每 个摄像机的镜 头场景， 拟合 赛道两侧边 缘的曲线表达式； S5： 利用背景差分算法检测雪车雪橇在当前帧图像中的位置； S6： 使用卡尔曼 滤波器预测雪车雪橇在下一帧图像中的位置； S7： 从若干待选目标中选出真实目标并更新 卡尔曼滤波器； S8： 对2D轨迹坐标做平滑后处理以获得雪车雪橇在每个监控摄像机下的滑行轨迹2D坐 标； S9： 根据每个监控摄像机的赛道表面2D ‑3D坐标映射表将所有2D滑行轨迹段转为3D轨 迹， 得到滑行 过程的3D轨 迹。 2.如权利要求1所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法， 其特 征在于： 所述S2中， 视频 数据预处 理具体包括以下步骤： S2.1： 基于场景检测将雪车雪橇滑行过程视频自动地切分为对应不同摄像机的视频 段， S2.2： 读取时间码 将整个雪车雪橇滑行视频分割成对应不同摄 像机的视频 段； S2.3： 在得到切分后的视频 段后， 进一 步将视频 段切分为若干帧图像。 3.如权利要求1所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法， 其特 征在于： 所述S3中， 摄 像机参数估计的过程如下： S3.1： 在图像上选取若干角点， 同时使用Cyclone软件在3D点云数据提取对应位置的3D 点， 得到当前摄 像机下的2D ‑3D关键点 坐标对集 合， 并保存到文件中； S3.2： 设图像像素坐标系为 像平面坐标系为 像空间坐标系为 笛卡尔坐标 系为 像素坐标系和笛卡尔空间坐标系的转换关系如式(1)所示： 由式(1)可 得：权　利　要　求　书 1/4 页 2 CN 115375733 A 2其中， l1,l2,…,l12为笛卡尔空间坐标系与像素坐标系之间 的关系系数， 令l12＝1， 求得 参数l11‑l11； 将式(1)进行变换， 如式(2)所示： 其中， 参数l1‑l11为未知数， 将每个2D ‑3D点对代入式(2)可得两个等式， 至少需要6个 2D‑3D点对对式(2)求 解； 令 L＝[l1 l2 l3 l4 l5 l6 l7  l8 l9 l10 l11]T， C＝[u v]T， 式(2)记为BL ‑C＝0， 则未知数矩阵L的解析， 如式(3)所示 L＝(BTB)‑1(BTC)            (3) 通过最小二乘法求得L的数值； S3.3： 对每 个摄像机通过S3.1 ‑S3.2的步骤， 将3D点映射到2D图像的参数进行保存。 4.如权利要求3所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法， 其特 征在于： 所述选取角点的数量大于等于 6。 5.如权利要求1所述的基于视频和点云数据的雪车雪橇三维滑行轨迹提取方法， 其特 征在于： 所述S3中， 2D ‑3D坐标映射表的生成过程， 包括以下步骤： SS3.1： 在3D点云数据上提取出赛道表面的3D点的集合， 作为2D轨迹向3D映射的约束， 将每个摄像机镜头场景下的赛道 表面数据分别导出； SS3.2： 读取每个摄像机下赛道表面的3D点， 每个3D点的数据为(x,y,z)坐标， 根据估计 出的摄像机参数， 计算3D点对应2D像素点的坐标(u,v)， 所述2D坐标为小数时进行四舍五 入； SS3.3： 建立一个(W,H,3)的矩阵作为2D点到3D点 的映射表， 其中W和H分别为当前摄像 机任一帧图像的宽度和高度， 3表示通道数， 分别用于存储当前像素位置对应的3D点的坐 标， 当3D点对应2D像素点的坐标(u,v)中一个2D图像点对应多个3D点时， 计算其对应的多个 3D点坐标的平均值， 并将其作为该2D点的3D映射结果； 若一个2D图像点不存在对应的3D点， 则根据图像上附近点对应的3D点估计出当前图像点对应的3D坐标， 以该2D点为中心， 框出 一个7×7的范围， 对该范围内全部有对应3D坐标的2D点计算对应的3D坐标的平均值， 将该权　利　要　求　书 2/4 页 3 CN 115375733 A 3