(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211030616.4 (22)申请日 2022.08.26 (71)申请人 武汉港迪智能技 术有限公司 地址 430000 湖北省武汉市东湖新 技术开 发区武大园四路3号国家地球空间信 息产业基地II区 （七期） B栋-3栋单元 19层03室 (72)发明人 黄威　涂铮　石先城　曹志俊　 张涛　 (74)专利代理 机构 武汉红观 专利代理事务所 (普通合伙) 42247 专利代理师 黄永亮 (51)Int.Cl. G06V 10/26(2022.01) G06V 10/82(2022.01)G06T 7/73(2017.01) (54)发明名称 基于实例分割技术的料斗防护区域自动生 成方法 (57)摘要 本发明提出了基于实例分割技术的料斗防 护区域自动生成方法， 属于门机自动化监控技术 领域； 包括如下步骤： S1： 对网络摄像头进行标 定， 获取网络摄像头的相机内参； S2： 将网络摄像 头安装至门机的合适位置， 实时捕捉门机卸料工 作区域的视频数据； 将视频数据转换为图片数据 存储； S3： 对图片数据中的卸料的料斗上平面作 为料斗特征进行标注， 导出标签文件； S4： 建立并 训练实例分割模型： S5： 利用训练后的实例分割 模型对料斗特征进行提取； 如果实例分割模型能 够提取到 料斗特征， 则以该料斗特征来进一步设 置警戒区域； 如果未能提取到料斗特征， 则由人 工设置警戒区域。 权利要求书1页 说明书5页 附图3页 CN 115457267 A 2022.12.09 CN 115457267 A 1.基于实例分割技 术的料斗防护区域自动生成方法， 其特 征在于， 包括如下步骤： S1： 对网络摄 像头进行 标定， 获取网络摄 像头的相机内参； S2： 将网络摄像头安装至门机的合适位置， 实时捕捉门机卸料工作区域的视频数据； 将 视频数据转换为图片数据存 储； S3： 对图片数据中的卸料的料斗上平面作为料斗特 征进行标注， 导出 标签文件； S4： 建立并训练实例分割模型： S5： 利用训练后的实例分割模型对料斗特征进行提取； 如果实例分割模型能够提取到 料斗特征， 则以该料斗特征来进一步设置警戒 区域； 如果未能提取到料斗特征， 则由人工设 置警戒区域。 2.根据权利要求1所述的基于实例分割技术的料斗防护区域自动生成方法， 其特征在 于， 步骤S1中所述对网络摄像头进 行标定， 获取网络摄像头的相机内参， 是采用利用网络摄 像头采集棋盘格标定板的图像数据， 采用标定算法对网络摄像头进行标定， 解算三维的世 界坐标系中的点到网络摄像头采集的图像坐标系中的点的对应关系， 获取网络摄像头的相 机内参。 3.根据权利要求1所述的基于实例分割技术的料斗防护区域自动生成方法， 其特征在 于， 步骤S 3所述对图片数据中的卸料的料斗上平面作为料斗特征进 行标注， 导出标签文件， 是使用开源标准软件Labelme进行标注工作， 标注内容为料斗上平面， 标注面特征时， 写入 对应的料斗类型并导出 标签文件。 4.根据权利要求1所述的基于实例分割技术的料斗防护区域自动生成方法， 其特征在 于， 步骤S4所述的建立并训练实例分割模型， 是采用Mask—RCNN深度学习模型作为实例分 割模型； 提取料斗上平面的四边形坐标标签， 将图片数据和四边形坐标标签导入实例分割 模型中， 实例分割模型处理后输出料斗上平面掩膜图层， 将料斗上平面掩膜图层与四边形 坐标标签之 间的差异作为损失函数； 训练实例分割模型是调整实例分割模 型训练的数据批 次和学习率， 采用随机梯度下降损失函数优化算法， 减小损失函数， 以实例分割模型输出的 料斗上平面掩膜图层来拟合真实料斗上平面 边界范围。 5.根据权利要求4所述的基于实例分割技术的料斗防护区域自动生成方法， 其特征在 于， 步骤S5所述设置警戒区域， 包括如下步骤： S51： 获取 料斗尺寸数据， 包括料斗上平面的尺寸及其离地 面的垂直高度； S52： 如实例分割模型能够提取到料斗特征， 即实例分割模型处理后输出料斗上平面掩 膜图层能够被拟合得到料斗上平面的四个角点的图像像素坐标； 如实例分割模型不能提取 到料斗特 征， 则人为指定料斗上平面的四个角点的图像 像素坐标； S53： 结合料斗上平面的四个角点的图像像素坐标、 各角点在世界坐标系中的坐标、 相 机内参求得网络摄像头的相 机外参， 结合防护区域偏离料斗上平面边缘的距离， 得到一虚 拟四边形， 根据虚拟四边形 的四个角点在世界坐标系中的坐标， 并将该虚拟四边形 的四个 角点在地面投影， 获得虚拟角点投影点在世界坐标系中的坐标， 连接虚拟四边形 的四个角 点及其投影点构成空间封闭区域； 将该封闭空间区域的边界的世界坐标系坐标转换为网络 摄像头的图像 像素坐标， 即生成料斗作业范围的防护区域。权　利　要　求　书 1/1 页 2 CN 115457267 A 2基于实例分割技术的料斗防护区域 自动生成方 法 技术领域 [0001]本发明涉及门机自动化监控技术领域， 尤其涉及基于实例分割技术的料斗防护区 域自动生成方法。 背景技术 [0002]随着我国港 口产业的迅速发展， 用于处理船只卸货工作的门座式起重机， 即门机 的自动化升级的相关工作也成为研究热点。 在门机 自动化作业过程中， 门机抓斗 自动运行 至目标料斗上方后开斗， 实现卸货。 为保障卸货过程中， 机下人员和设备的安全， 目前通常 采用视频技术获取现场 实时情况， 结合人工预先设定目标料斗周边的警戒区域， 达到安全 防护监测的效果。 但目前港口现场的料斗的位置经常发生变化、 料斗类型多的情况， 采用人 工设置警戒 区域的方式， 存在复用性差、 区域范围精度低的问题， 严重影响门机自动化抓放 料效率。 公开号为CN113345027A的中国发明专利公开了基于球机的门机区域防护方法， 该 方法需要人工预先在料斗的顶部端面用油漆绘制图案作为标识， 人工标识的工作量较大， 而且图案标识容易被遮盖或者磨损， 导致门机自动生成安全防护区域的功能受到严重影 响。 [0003]综上所述， 提出基于实例分割技术的料斗防护区域自动生成方法， 达到自动安 防 监测的效果， 无需人工绘制图案， 是很有必要的。 发明内容 [0004]有鉴于此， 本发明提出了基于实例分割算法、 无需预先在料斗端面涂装的料斗防 护区域自动生成方法。 [0005]本发明的技术方案是这样实现的： 基于实例分割技术的料斗防护区域自动生成方 法， 包括如下步骤： [0006]S1： 对网络摄 像头进行 标定， 获取网络摄 像头的相机内参； [0007]S2： 将网络摄像头安装至门机 的合适位置， 实时捕捉门机卸料工作区域的视频数 据； 将视频 数据转换为图片数据存 储； [0008]S3： 对图片数据中的卸料的料斗上平面作为料斗特 征进行标注， 导出 标签文件； [0009]S4： 建立并训练实例分割模型： [0010]S5： 利用训练后的实例分割模型对料斗特征进行提取； 如果实例分割模型能够提 取到料斗特征， 则以该料斗特征来进一步设置警戒 区域； 如果未能提取到料斗特征， 则由人 工设置警戒区域。 [0011]在以上技术方案的基础上， 优选的， 步骤S1中所述对网络摄像头进行标定， 获取 网 络摄像头的相 机内参， 是采用利用网络摄像头采集棋盘格标定板的图像数据， 采用标定算 法对网络摄像头进行标定， 解算三维的世界坐标系中的点到网络摄像头采集的图像坐标系 中的点的对应关系， 获取网络摄 像头的相机内参。 [0012]在以上技术方案的基础上， 优选 的， 步骤S3所述对图片数据中的卸料的料斗上平说　明　书 1/5 页 3 CN 115457267 A 3