(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210438947.5 (22)申请日 2022.04.25 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 任磊　杨浩锴　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 梁嘉琦 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/44(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/56(2022.01)G01M 10/00(2006.01) (54)发明名称 一种朗缪尔环流的观测控制方法与系统 (57)摘要 本发明公开了一种朗缪尔环流的观测控制 方法与系统， 方法包括： 根据目标观测任务的目 的地位置信息， 将无人艇配置到目标观测区域； 通过所述无人艇向水体释放染色示踪剂； 以所述 无人艇所在处为起点， 配置无人机跟随所述染色 示踪剂的扩散路径进行图像采集； 对采集到的 图 像进行图像识别， 判断是否为朗缪尔环流； 当识 别到朗缪尔环 流时， 根据采集到的图像配置无人 艇的数据采集路线， 控制无人艇编队按照所述数 据采集路线对朗缪尔环流区域进行探测， 并通过 无人机集群对朗缪尔环流区域进行图像采集与 识别， 完成对朗缪尔环流区域的边缘检测。 本发 明观测过程灵活机动、 成本低且效率高， 可广泛 应用于环境 监测技术领域。 权利要求书3页 说明书17页 附图9页 CN 114842250 A 2022.08.02 CN 114842250 A 1.一种朗缪尔环流的观测控制方法， 其特 征在于， 包括： 根据目标观测任务的目的地 位置信息， 将无 人艇配置 到目标观测区域； 通过所述无人艇向水体释放染色示踪剂； 以所述无人艇所在处为起点， 配置无人机跟随所述染色示踪剂的扩散路径进行图像采 集； 对采集到的图像进行图像识别， 判断是否为朗缪尔环流； 当识别到朗缪尔环流时， 根据采集到的图像配置无人艇的数据采集路线， 控制无人艇 编队按照所述数据采集路线对朗缪尔环流区域进 行探测， 并通过无人机集群对朗缪尔环流 区域进行图像采集与识别， 完成对朗缪尔环流区域的边 缘检测。 2.根据权利要求1所述的一种朗缪尔环流的观测控制方法， 其特征在于， 所述通过所述 无人艇向水体释放染色示踪剂， 包括： 当无人艇到达目标观测区域时， 从所述无人艇所处位置派遣一艘无人机， 该无人机直 线向上飞行升 至空中， 拍摄一张水面图像； 当无人机拍摄到的气泡痕数目大于或等于第一阈值时， 将该 无人机悬停于当前高度； 根据所述无人机的引导， 控制所述无人艇到达两条带状气泡痕的中间位置， 所述无人 艇从当前位置的水面以及水 下释放染色示踪剂。 3.根据权利要求1所述的一种朗缪尔环流的观测控制方法， 其特征在于， 所述以所述无 人艇所在处为 起点， 配置无 人机跟随所述染色示踪剂的扩散路径进行图像采集， 包括： 通过无人机空中平台控制无 人机空中作业， 并拍摄图像； 通过艇机传输系统传输无 人机拍摄的图像， 并存 储到无人艇上； 通过无人艇数据处理平台对存储的图像进行数据处理后， 规划无人机的飞行路径， 并 发送给无人机空中平台来控制无 人机按照飞行路径进一 步获取图像。 4.根据权利要求1所述的一种朗缪尔环流的观测控制方法， 其特征在于， 所述对采集到 的图像进行图像识别， 判断是否为朗缪尔环流， 包括： 获取待训练图像， 所述待训练图像包括互联网中的朗缪尔环流气泡痕、 海上溢油后油 污随着环流扩散形成的条带状痕迹、 每次执行环流检测任务后采集到的图像、 无人机拍摄 的视频通过拆帧得到的图像帧； 采用分层随机采样的方式将所述待训练图像划分为训练集、 验证集、 测试集； 对所述训练集进行图像标注处 理和数据增强处 理， 得到训练集图像； 使用基于迁移学习的YOLOv5算法对训练集图像进行深度学习， 构建朗缪尔环流气泡痕 识别模型； 根据所述朗缪尔环流气泡痕识别模型对采集的图像进行图像识别， 判断是否为朗缪尔 环流； 其中， 所述对所述训练集进行 数据增强处 理， 包括以下至少之一： 对所述训练集进行 数据翻转， 得到第一数据； 或者， 对所述训练集进行 数据旋转， 得到第二数据； 或者， 对所述训练集进行 数据缩放， 得到第三数据； 或者， 对所述训练集进行 数据裁剪， 得到第四数据； 或者， 对所述训练集进行 数据平移， 得到第五数据；权　利　要　求　书 1/3 页 2 CN 114842250 A 2或者， 对所述训练集进行 添加噪声处 理， 得到第六 数据。 5.根据权利要求4所述的一种朗缪尔环流的观测控制方法， 其特征在于， 所述使用基于 迁移学习的YOLOv5算法对训练集图像进行深度学习， 构建朗缪尔环流气泡痕识别模型， 包 括： 针对coco数据集在YOLOv5上预训练好的目标检测模型进行知识迁移， 训练朗缪尔环流 气泡痕图像数据集， 得到 YOLOv5朗缪尔环流气泡痕识别模型； 接着再对YOLOv5朗缪尔环流气泡痕识别 模型进行知识迁移， 训练经过染色后的朗缪尔 环流气泡痕识别模型。 6.根据权利要求4所述的一种朗缪尔环流的观测控制方法， 其特征在于， 所述根据 所述 朗缪尔环流气泡痕识别模型对 采集的图像进行图像识别， 判断是否为朗缪尔环流， 包括： 对采集的图像进行色彩还原处 理， 生成色彩还原 矩阵集合； 根据所述色彩还原 矩阵集合对采集的图像进行色偏修 正还原； 利用所述朗缪尔环流气泡痕识别模型对还原后的图像进行实时识别， 分类确定染色后 的红色水体和未染色的蓝绿色水体， 进 而实现对朗缪尔环流的识别。 7.根据权利要求1所述的一种朗缪尔环流的观测控制方法， 其特征在于， 所述当识别 到 朗缪尔环流时， 根据采集到的图像配置无人艇的数据采集路线， 控制无人艇编队按照所述 数据采集路线对朗缪尔环流区域进行探测， 并通过无人机集群对朗缪尔环流区域进行图像 采集与识别， 完成对朗缪尔环流区域的边 缘检测， 包括： 通过最大值法对 采集到的图像进行 灰度化处 理， 得到灰度图像； 通过均值滤波算法对所述灰度图像进行均值滤波， 完成对所述灰度图像的滑动处 理； 将滤波窗口滑动至目标像素点， 并计算所述像素点的邻域像素点平均值， 通过所述邻 域像素点平均值代替该像素点的值， 直至 完成对所有像素点的去噪处 理； 对去噪后的灰度图像进行全局二值化处理后再进行canny边缘检测， 检测到气泡痕的 边缘， 完成对朗缪尔环流区域的边 缘检测。 8.根据权利要求1 ‑7任一项所述的一种朗缪尔环流的观测控制方法， 其特征在于， 所述 无人艇的观测有三种模式， 包括沿边缘的直角路径进行观测的模式、 沿垂直气泡痕路径进 行观测的模式以及沿染色条 带航行路径进行观测的模式； 其中， 所述沿边 缘的直角路径进行观测的模式包括以下步骤： 对图形凸包点进行查找和聚类， 确定目标凸包点； 设置一个分区参考距离， 根据 大于所述分区参考距离的分区数目确定所述目标凸包点 的类别； 根据无人艇的位置确定偏移线段的位置； 找出偏移后第 一条不穿越气泡痕迹区域的线段， 并将该线段与圆的交点定义为目标圆 点； 将初始点与目标凸包点分别与目标圆点相连接， 得到一条从初始点到目标点的第 一路 径， 形成第一路径的两个线段夹角为 直角； 找到目标圆点， 确定一条从目标点到初始点的第二路径； 将第一路径和第 二路径的交点分别与初始点和目标凸包点相连， 则得到无人艇观测的 最终路径；权　利　要　求　书 2/3 页 3 CN 114842250 A 3