(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211108405.8 (22)申请日 2022.09.13 (71)申请人 大连理工大 学 地址 116024 辽宁省大连市甘井 子区凌工 路2号 (72)发明人 李宝军　薛炯　宋明亮　 (74)专利代理 机构 辽宁鸿文知识产权代理有限 公司 21102 专利代理师 许明章　王海波 (51)Int.Cl. G06T 7/285(2017.01) G06T 7/73(2017.01) G06T 7/292(2017.01) G06T 7/80(2017.01) G06T 5/00(2006.01)G06T 7/593(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于视觉的穿梭油船全自动状态检测 和预警方法 (57)摘要 本发明提供了一种基于视觉传感器的穿梭 油船全自动状态 检测和预警方法， 利用单目传感 器和其他可采集三维真值的传感器进行联合标 定， 获取海 上穿梭油船场景的单目图像检测数据 集、 单目分割数据集和三维真值数据集， 完成训 练数据集的构建； 将单目相机的序列图像数据作 为输入， 输出穿梭油船目标区域的深度估计信 息， 然后利用同一时间序列下的三维真值数据和 提取到的目标区域的深度信息进行单目场景的 尺度恢复， 得到目标区域的绝对距离场； 使用滤 波算法和排序算法提取船头和相机光心之间的 绝对距离， 结合预警策略对测距信息和报警信息 进行可视化输出， 实现穿梭油船的状态自动检测 和预警功能。 权利要求书2页 说明书6页 附图6页 CN 115526915 A 2022.12.27 CN 115526915 A 1.一种基于 视觉的穿梭油船全自动状态检测 和预警方法， 其特 征在于， 步骤如下： 步骤1， 对单目相机和可采集真值的三维点云数据采集器进行联合标定， 获取单目相机 和三维点云数据采集器之间的空间转换关系； (1.1)选择长宽尺寸不等、 表面平整无白边且不反光的标定板， 固定单目相机和三维点 云数据采集器之间的相对位置； (1.2)使用标定 板对单目相机内参进行 标定得到内参矩阵； (1.3)使用标定板对单目相机和三维点云数据采集器进行联合标定， 得到两个传感器 之间的外参 转换矩阵； 步骤2， 使用步骤1中完成标定的单目相机和三维点云数据采集器对海上油气开发平台 的穿梭油船进 行单目图像和三维点云真值数据采集， 并对单目 图像数据和同一时间序列下 的三维点云 真值数据进行 标注， 完成数据集的构建； (2.1)将标定完成的单目相机和三维点云数据采集器固定在海上油气开发平台上， 对 穿梭油船 单目图像和三维点云数据进行多模态同步采集并存 储； (2.2)对单目相机采集到的单目图像数据进行感兴趣区域二维检测框标注， 构建穿梭 油船的单目检测数据集； (2.3)对单目相机采集到的单目图像数据进行目标分割标注， 构建穿梭油船的目标分 割数据集； (2.4)对同一时间序列下采集到的三维点云真值数据进行三维标注， 构建穿梭油船的 真值数据集； 步骤3， 利用穿梭油船的单目图像数据集训练得到目标检测器， 利用穿梭油船的单目图 像数据集进行目标分割训练得到目标分割器， 利用穿梭油船的单目图像数据集进 行训练得 到深度预测器； (3.1)利用穿梭油船的单目检测数据集 通过深度学习的方法训练得到单目检测器； (3.2)利用穿梭油船的单目分割数据集通过深度学习的方法训练得到单目图像分割 器； (3.3)利用穿梭油船的单目检测数据集通过深度学习自监督的方法训练得到单目深度 预测器； 步骤4， 将单目相机的序列图像数据作为输入， 输出穿梭油船目标区域的深度估计信 息； (4.1)将单目相机的序列图像数据作为输入， 通过步骤(3.1)得到的单目标检测器进行 处理， 输出序列图像中穿梭油船 的感兴趣区域的二维目标检测框， 包括对应的位置信息及 油船的类别 信息； (4.2)利用步骤(4.1)检测输出的二维目标检测框的位置信息对序列图像进行裁剪， 得 到感兴趣区域图像数据； (4.3)将步骤(4.2)得到的感兴趣区域图像数据输入到训练好的单目图像分割器中， 得 到感兴趣区域内与背景信息分离的穿梭油船目标分割图像； (4.4)将步骤(4.3)得到的穿梭油船目标分割图像输入到训练好的单目深度预测器中， 获取穿梭油船目标区域的深度信息图； 步骤5， 利用步骤2获取的三维点云真值数据和步骤4得到的梭油船目标区域的深度信权　利　要　求　书 1/2 页 2 CN 115526915 A 2息图计算单目图像的尺度恢复因子， 对目标区域进行尺度恢复， 得到目标区域的绝对距离 场信息； (5.1)从步骤(4.2)中获取穿梭油船目标区域的深度信息图以及从步骤2中获取对应时 间序列下的三维点云 真值数据； (5.2)计算二维目标检测框区域内三维点云真值数据和深度图的统计特征： 均值、 中 值、 最大值、 最小值； (5.3)利用深度图的中值计算尺度恢复因子进行尺度恢复， 得到穿梭油船距离单目相 机光心的绝对距离场信息； 步骤6， 对步骤5计算得到的穿梭油船距离单目相机光心的绝对距离场信息进行滤波， 并利用排序搜索算法对穿梭油船的绝对深度信息进行搜索， 得到穿梭油船船头位置距离相 机光心的真实距离； (6.1)对穿梭油船距离单目相机光心的绝对距离场信息进行多步多尺度滤波操作； (6.2)用排序搜索算法对滤波后的穿梭油船像素的绝对距离场信息进行排序， 确定穿 梭油船船头位置， 并将其距离单目相机光心的真实距离 输出； 步骤7， 根据海上油气开采平台外输作业等级对步骤6得到的穿梭油船的距离信 息进行 预警等级判断； (7.1)根据海上油气开采平台外输作业等级表制定穿梭油船的预警策略； 定义预警距 离DoWL1表示一级预警的上确界； 定义 预警距离DoWL2表示二级预警的上确界； 定义 预警距离 DoWL3表示三级预警的上确界； 其中距离参数0<D oWL1<DoWL2<DoWL3； 穿梭油船和海上油气 开 采平台之间的距离为(0m,DoWL1]时进行一级预警； 距离为(DoWL1,DoWL2]时进行二级预警； 距离为(DoWL2,DoWL3]时进行三级预警； 预警策略需根据海上油气开采平台外输作业等级表 的更新进行同步， 一旦穿梭油船与油气开采平台间的距离触发报警条件， 系统将立即发出 相应警报； (7.2)根据拟定好的穿梭油船的预警策略， 在输出端实时显示穿梭油船当前状态下的 预警等级； 步骤8， 将步骤4中的二维 目标检测框信息、 步骤6中的穿梭油船船头和相机光心之间的 距离信息、 步骤7中的预警信息在输出端 进行界面可视化； (8.1)在输出端显示步骤4中生成的穿梭油船检测框以及步骤6中计算得到的穿梭油船 船头位置距离相机光心的绝对距离信息； (8.2)在输出端显示 步骤7中的预警区域效果图。 2.根据权利要求1所述的基于视觉的穿梭油船全自动状态检测和预警方法， 其特征在 于， 所述的可采集真值的传感器为激光雷达或双目相机或其 他可提供深度真值的传感器。权　利　要　求　书 2/2 页 3 CN 115526915 A 3