(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210866833.0 (22)申请日 2022.07.22 (71)申请人 仲恺农业工程学院 地址 510220 广东省广州市海珠区纺织路 东沙街24 号大院 (72)发明人 朱立学　张智浩　林桂潮　张世昂　 陈品岚　官金炫　陈明杰　林深凯　 吴天骏　 (74)专利代理 机构 重庆晶智汇知识产权代理事 务所(普通 合伙) 50229 专利代理师 施永卿 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/762(2022.01) G06V 10/77(2022.01) (54)发明名称 一种基于YoloV5的茶叶用多目标检测定位 方法 (57)摘要 本发明提供一种基于YoloV5的茶叶用多目 标检测定位方法， 具体包括S01、 构建茶叶嫩芽图 像数据集； S02、 改进YoloV5检测网络； S03、 获得 茶叶嫩芽三维点云、 拟合茶叶嫩芽最小外接长方 体、 获得茶叶嫩芽采摘点。 该方法能够有效对茶 叶嫩芽进行多目标检测、 定位， 从而精确有效的 识别茶叶嫩芽的位置， 配合采摘工具、 实现智能 化采摘茶叶嫩芽， 进而提高采摘效率、 节省采摘 时间、 降低人力成本 。 权利要求书3页 说明书7页 附图2页 CN 115272791 A 2022.11.01 CN 115272791 A 1.一种基于 YoloV5的茶叶用多目标检测定位方法， 其特 征在于： 具体包括以下步骤： S01、 构建 茶叶嫩芽图像数据集； S02、 基于步骤S01中的数据集， 通过双向特征金字塔网络和通道注意力机制构造语义 信息丰富的特征图， 实现对YoloV5检测网络改进、 获得YoloV5目标检测网络模 型， 实现小尺 寸茶叶嫩芽的检测； S03、 基于步骤S02中的YoloV5目标检测网络模型的训练结果， 获得茶叶三维点云； 然后 在茶叶三维点云中筛选出茶叶嫩芽三维点云； 最后拟合茶叶嫩芽最小外接长方体， 获得茶 叶嫩芽的精确位置以及采摘点。 2.根据权利 要求1所述的一种基于YoloV5的茶叶用多目标检测定位方法， 其特征在于： 所述步骤S01具体为： 首先， 使用RGB ‑D相机进行茶叶嫩芽图像数据的采集， 获得茶叶嫩芽的 彩色图像与深度图像； 然后， 采用标注工具对彩色图像进行标注， 并进行数据集增强操作、 扩充数据集的数量， 构建出茶叶嫩芽图像数据集； 最后 将数据集划分成训练集、 测试集与验 证集。 3.根据权利 要求1或2所述的一种基于YoloV5的茶叶用多目标检测定位方法， 其特征在 于： 所述YoloV5检测网络包括Backbone模块、 Neck模块和Hea d模块； 所述Backbone模块包括 用于对图片进行切片操作的Focus模块、 SPP模块与CBS模块， 以及用于增强整个卷积神经网 络学习性能CSP模块； 所述Neck模块包括CBS模块与CSP 模块； 所述Head模块包括利用基于网 格anchor在不同尺度的特 征图上进行目标检测的Detect层。 4.根据权利 要求1或3所述的一种基于YoloV5的茶叶用多目标检测定位方法， 其特征在 于： 所述步骤S02具体为： S21、 首先， 对步骤S01中的训练集中的图像进行预处理、 统一训练集中所有图像的分辨 率； 再将预处 理后的图像输入到Backbo ne模块， 获得不同尺寸的特 征图； S22、 然后， 将步骤S21中不同尺寸的特征图输入到Neck模块 中， 并在Neck模块中采用双 向特征金字塔网络替代原有的路径聚合网络进行多特征融合； 再对特征图依次进行上采 样、 下采样， 以及通过通道注意力机制的拼接产生多种尺 寸的特征图， 并输入到Head模块的 Detect层中； S23、 再结合多种损失函数进行反向传播， 对 模型中的梯度进行 更新调节权 重参数； S24、 最后， 采用步骤S01中的验证集对现有模型进行验证， 获得YoloV5目标检测网络模 型。 5.根据权利 要求1或4所述的一种基于YoloV5的茶叶用多目标检测定位方法， 其特征在 于： 所述步骤S03具体为： S31、 首先， 根据步骤S02的YoloV5目标检测网络模型的结果， 获取检测框坐标， 生成彩 色图像与对应深度图像的感兴趣区域； S32、 然后， 根据深度图像的像素坐标与彩色图像的像素坐标之间的映射关系， 并通过 深度图像的坐标值、 像素值和记录距离， 来得到对应的映射的彩色图像坐标； S33、 再通过彩色图像与深度图像的坐标融合， 获得茶叶三维点云， 具体为：权　利　要　求　书 1/3 页 2 CN 115272791 A 2式中， 表示三维点云的坐标系； 表示彩色图像的坐标系； D表示深度值、 通过深度 图像获得； fx、 fy表示相机焦距； S34、 由于生成的茶叶三维点云包含茶叶嫩芽及其背景点云， 因此通过计算获得茶叶三 维点云的平均值， 并将该平均值作为距离阈值； 然后， 将大于距离阈值的背景点云进行过 滤， 得到初步分割的三维点云； 再采用DBSCAN聚类算法， 通过设置参数半径Eps和邻域中要 求含有的最低样本个数Mp， 将初步分割的三维点云聚为 一类， 并筛 选出茶叶嫩芽三维点云； S35、 根据茶叶嫩芽的生长姿态， 采用主成分分析法拟合处茶叶嫩芽的最小外接长方 体； 然后计算获得长方体各个顶点坐标； 再通过求长方体底面四个顶点平均值获得长方体 底面中心点的坐标， 并以该点作为茶叶嫩芽的采摘点。 6.根据权利 要求5所述的一种基于YoloV5的茶叶用多目标检测定位方法， 其特征在于： 所述步骤S35具体为： 首先， 采用主成分分析法筛选出茶叶嫩芽三维点云的三个主方向， 即x、 y、 z方向， 并计 算质心、 协方差， 得到协方差矩阵； 具体为： 式中， Pc表示三维点云的质心坐标； n表示三维点 云的数目； (xi,yi,zi)表示第i个点的三 维坐标； 式中， Cp表示三维点云的协方差矩阵； 然后， 对协方差矩阵进行奇异值分解， 获得 特征值与特 征向量， 具体公式为： 式中， Up表示协方差矩阵的特征向量； Up表示协方差矩阵CpCpT的特征向量矩阵； Dp表示 一个对角线上的非0值是CpCpT的非0特征值的平方根的对角阵； 表示一个CpTCp的特征向量 矩阵； 其中， 最大 特征值对应的特 征向量的方向即为长方体的主轴方向； 之后， 将坐标点投影到方向向量上， 通过计算每个顶点位置坐标Pi与坐标点单位向量的权　利　要　求　书 2/3 页 3 CN 115272791 A 3