(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211108401.X (22)申请日 2022.09.13 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 李宝军　伍泽　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06T 7/285(2017.01) G06T 7/73(2017.01) G06T 7/292(2017.01) G06T 7/80(2017.01) G06T 7/593(2017.01)G06T 5/00(2006.01) (54)发明名称 一种基于虚拟仿真的穿梭油船外输作业场 景数据集的构建方法 (57)摘要 一种基于虚拟仿真的穿梭油船外输作业场 景数据集的构建方法。 对真实物理双目相机和深 度相机的模拟； 制作标定板虚拟模型， 生成对应 的双目图像用作虚拟相机标定， 得到虚拟双目相 机的内外参矩阵和畸变系数； 基于真实穿梭油船 参数构建对应三维数模并进行贴图渲染； 实时获 取穿梭油船模 型三维位置、 姿态和对应的虚拟双 目图像； 构建参数化的虚拟自然环 境系统和海洋 场景， 控制穿梭油船模型在海洋场景中的运动； 测试虚拟数据的有效性、 真实性和准确性， 并利 用深度学习算法进行可行性评价； 融合各种环境 工况， 将位姿信息、 双目相机参数和虚拟双 目图 像集成， 构建出供外输作业场景监控任务使用的 数据集， 为实现对海上穿梭油船的实时监测和预 警提供数据支持。 权利要求书2页 说明书6页 附图6页 CN 115511923 A 2022.12.23 CN 115511923 A 1.一种基于虚拟仿真的穿梭油船外输作业场景数据集的构建方法， 其特征在于， 步骤 如下： 步骤1， 按照真实物理相机， 在虚拟开发引擎中构建双目相机模型和深度相机模型； (1.1)分别设置左右两个虚拟单目相机在世界坐标系中的坐标(x,y,z)和(x ’,y’,z’)， 左右单目相 机设置在空间中同一水平线上， 高度和深度方向都保持一致， 水平方向设置间 距为b， 即为双目相机的基线距离； (1.2)设置双目相机模型中每 个虚拟相机的视场角Fv、 焦距F、 感光芯片长度L、 宽度W； (1.3)复制步骤(1.1)中的左单目相机模型作 为深度相机模型， 设置深度相机模型的深 度渲染范围， 将该深度相机坐标系渲染范围内的每一个点与相机平面之间的深度值用0 ‑ 255的像素值表示， 点距离相机平面越近， 像素值越小， 得到由像素值表示深度的深度图； 步骤2， 测试双目相机模拟的准确性， 同时获取准确的虚拟相机内外参数； (2.1)在虚拟开发引擎中制作棋盘 格标定板模型； (2.2)获取棋盘 格标定板模型在 双目相机 视角下的图像， 采集多组左右图像数据对； (2.3)对由步骤(2.2)得到的图像数据对进行标定， 获得双目相机的传感器内外参矩阵 和畸变系数； (2.4)对由步骤(2.2)所获得图像中的棋盘格特征角点利用左右图像的几何关系确定 该特征角点所对应的三维空间点， 将该三维空间点通过步骤(2.3)中虚拟双目相机的内外 参矩阵和畸变系数二次投影到图像， 从而得到虚拟像素点， 计算虚拟像素点与棋盘格特征 角点的误差， 误差值在可接受的范围内即表明双目相机模拟的准确性； 步骤3， 构建并着色渲染穿梭油轮三维数模， 将穿梭油轮三维数模导入虚拟开发引擎 中， 并计算 穿梭油船三维数模在虚拟开发引擎中的理论尺寸； (3.1)对穿梭油轮进行等比例 建模， 参照真实穿梭油轮的表面色彩纹理对穿梭油轮三 维数模进行对应的贴图和渲染； (3.2)将穿梭油轮三维数模导入虚拟开发引擎中， 记穿梭油船建模软件与虚拟开发引 擎之间的尺度变换 因子为k， 通过变换 因子k计算出虚拟开 发引擎中穿梭油轮三维数模的理 论尺寸； 步骤4， 获取 船模型实时的三维位置、 姿态信息； (4.1)实时获取包 含穿梭油船模型的虚拟双目图像对； (4.2)将每一帧图像中所包含穿梭油船模型的中心点坐标(x0， y0， z0)和绕空间坐标轴 的偏转角(Ax， Ay， Az)进行输出记录， 将穿梭油船模型中心点坐标与相机位置坐标进行作差 处理， 得到相机坐标系下的穿梭油船模型三维位置信息； 步骤5， 构建雨、 雪、 雾、 黄昏、 夜晚、 正常光照和逆光照的环境系 统和海洋场景， 控制步 骤3中的穿梭油船模型在海洋场景中的运动； (5.1)创建雨点、 雾气和雪花的形状外观， 设计控制场景中雨点、 水雾和雪花的密度、 移 动速度、 移动方向， 构建出参数 可调的雨、 雪、 雾的环境系统； (5.2)构建黄昏、 夜晚、 正常光照和逆光照的参数化系 统， 按照一天中时刻的变化而引 起的光照变化 来设置光线的方向、 颜色和强度， 实现随时间改变而调节光线； (5.3)构建海洋场景， 模拟海面波浪、 水花和颜色， 实现对波浪高度、 波浪形状的调节； (5.4)控制穿梭油船模型在海洋场景中的浮动方式为正余弦波动， 且运动方向和速度权　利　要　求　书 1/2 页 2 CN 115511923 A 2随着波浪的方向和大小变化而变化； 步骤6， 将由步骤1 ‑5操作序列得到的虚拟仿真数据与现实数据进行交叉验证， 使用深 度学习目标识别算法对虚拟图像中穿梭油轮进行识别与检测， 检验虚拟仿真数据真实性； (6.1)根据步骤1～5操作序列获得的虚拟双目图像和步骤(2.3)得到的虚拟双目相机 内外参矩阵和畸变系数， 将虚拟双目 图像进行立体匹配得到视差数据并反投影得到穿梭油 船模型的三 维点云， 将穿梭油船模型的三维点云的尺寸和构建虚拟场景时穿梭油船三维数 模的理论尺寸进行对比， 二 者能相互对应则表明虚拟数据的有效性； (6.2)将步骤(1.3)获得的深度图通过步骤(2.3)的虚拟双目相机内外参矩阵转换得到 船模型三 维点云， 将船模型三维点云的尺寸和构建虚拟场景时穿梭油船三维数模的理论尺 寸进行对比， 二 者能相互对应则表明虚拟数据的有效性； (6.3)通过深度学习的目标识别算法对虚拟图像中的穿梭油船进行识别训练， 利用真 实物理图像进行测试； 若能准确识别出真实图像中的穿梭油船则表明虚拟数据的真实性； 步骤7， 有效搭配多种环境工况， 将由步骤(2.3)中虚拟双目相机内外参矩阵和畸变系 数、 步骤(4.2)中穿梭油船模型三维位置信息、 步骤1 ‑5操作序列 获得的虚拟双目图像对和 深度图集成， 构建出高真实度、 高精度、 多工况的数据集； 由步骤(2.3)中得到的所有关于虚拟双目相机的传感器内外参矩阵和畸变系数、 步骤 (4.2)中穿梭油船模型三维位置信息和步骤1 ‑5操作序列中通过各种环境系统与海洋场景 进行有效搭配， 并且包含船模型 的虚拟双目图像对和深度图； 虚拟双目相 机内外参矩阵和 畸变系数构成数据集中的传感器参数模块； 穿梭油船模型三 维位置信息和深度图构成数据 集中的监督数据模块； 虚拟双目图像构成数据集中的图像数据模块； 将上述三个模块数据 进行汇总， 形成海上 船舶三维检测的虚拟仿真数据集。权　利　要　求　书 2/2 页 3 CN 115511923 A 3