(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210876003.6 (22)申请日 2022.07.25 (71)申请人 仲恺农业工程学院 地址 510220 广东省广州市海珠区纺织路 东沙街24 号大院 (72)发明人 朱立学　张智浩　林桂潮　张世昂　 官金炫　陈品岚　陈定贤　陈嘉辉　 钟凯勇　蔡柳坚　 (74)专利代理 机构 重庆晶智汇知识产权代理事 务所(普通 合伙) 50229 专利代理师 施永卿 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 50/02(2012.01) G06V 10/25(2022.01)G06V 10/762(2022.01) G06V 10/77(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用于名优茶的智能连贯采摘系统 (57)摘要 本发明提供一种用于名 优茶的智能连贯采 摘系统， 包括目标识别模块、 路径规划模块、 采摘 执行模块与运算控制模块； 运算控制模块分别与 目标识别模块、 路径规划模块、 采摘执行模块通 信交互。 其中， 目标识别模块通过构建茶叶嫩芽 图像数据集、 进行YoloV5网络模型改进、 通过拟 合茶叶嫩芽三维点云的最小外接长方体的方式 获得采摘点。 该系统通过视觉识别系统实现茶叶 嫩芽的精 准定位， 同时通过采摘机器人实现智能 化、 机械化的茶叶采摘， 无需大量劳动力， 采摘效 率高、 名优茶得率高。 权利要求书3页 说明书9页 附图2页 CN 115271200 A 2022.11.01 CN 115271200 A 1.一种用于名优茶的智能连贯采摘系统， 其特征在于： 包括目标识别模块、 路径规划模 块、 采摘执行模块与运算控制模块； 所述运算控制模块分别与目标识别模块、 路径规划模 块、 采摘执 行模块通信交互； 所述目标识别模块用于获取茶叶嫩芽的采摘点； 所述路径规划模块用于规划采摘执行模块的行进路径， 具体为： 运算控制模块将目标 识别模块 获得的各个采摘点以及当前采摘执行模块的位置输入到路径规划模块， 路径规划 模块将采摘执行模块的三 维坐标与各个采摘点的三维坐标进 行拟合， 获得最短最优的采摘 路径； 所述采摘执行模块包括运动机械臂与末端执行器， 所述运动机械臂根据路径规划模块 中规划的采摘 路径、 将末端执行器移动至各个采摘点； 所述末端执行器包括剪切部与伸缩 部， 通过剪切部的闭合实现对茶叶嫩芽的采摘， 通过伸缩部的收缩与剪切部的打开实现对 茶叶的收集。 2.根据权利要求1所述的一种用于名优茶的智能连贯采摘系统， 其特征在于： 所述目标 识别模块获取茶叶嫩芽的采摘点的具体步骤为： S10、 构建茶叶嫩芽图像数据 集； S20、 在步骤S10的数据 集中， 通过双向特征金字塔 网络 和通道注意力机制构造语义信息丰富的特征图， 实现对YoloV5网络模型的改进、 获得改进 型YoloV5网络模 型， 实现小尺寸茶叶嫩芽的检测； S30、 基于步骤S20中的改进型YoloV5网络 模型的训练结果， 获得茶叶三 维点云； 然后在茶叶三 维点云中筛选出茶叶嫩芽三维点云； 最 后拟合茶叶嫩芽最小外 接长方体， 获得茶叶嫩芽的精确位置以及采摘点； 所述YoloV5网络模型包括Backbone模块、 Neck模块和Head模块； Backbone模块包括用 于对图片进 行切片操作的Focus模块、 SPP模块与CBS模块， 及用于增强整个卷积神经网络学 习性能CSP 模块； Neck模块包括CBS模块与CSP 模块； Head模块包括利用基于网格anchor在不 同尺度的特 征图上进行目标检测的Detect层。 3.根据权利要求1或2所述的一种用于名优茶的智能连贯采摘系统， 其特征在于： 所述 步骤S10具体为： 先使用RGB ‑D相机采集茶叶嫩芽图像数据， 获得茶叶嫩芽的彩色图像与深 度图像； 再采用标注工具对彩色图像进行标注， 并进行数据集增强操作、 扩充数据集的数 量， 构建出茶叶嫩芽图像数据集； 最后对数据集进行划分， 形成训练集、 测试集与验证集； 所述步骤S20具体为： S21、 对步骤S10的训练集中的图像进行预处理、 统一训练集中所有图像的分辨率； 再将 预处理后的图像输入到Backbone模块， 获得不同尺 寸的特征图； S22、 将步骤S21 中不同尺寸 的特征图输入到Neck模块中， 并在Neck模块中采用双向特征金字塔网络替代原有的路径聚 合网络进 行多特征融合； 再对特征图依次进 行上采样、 下采样， 及通过通道注 意力机制的拼 接产生多种尺寸的特征图， 并输入到Head模块的Detect层中； S23、 结合多种损失函数进行 反向传播， 对模 型中的梯度进 行更新调节权重参数； S2 4、 采用步骤S10中的验证集对现有模 型进行验证， 获得改进型Yo loV5网络模型。 4.根据权利要求2或3所述的一种用于名优茶的智能连贯采摘系统， 其特征在于： 所述 步骤S30具体为： S31、 根据 步骤S20的改进型YoloV5 网络模型的结果， 获取检测框坐标， 生成彩色图像与 对应深度图像的感兴趣区域；权　利　要　求　书 1/3 页 2 CN 115271200 A 2S32、 根据深度图像的像素坐标与彩色图像的像素坐标之间的映射关系， 并通过深度图 像的坐标值、 像素值和记录距离， 来得到对应的映射的彩色图像坐标； S33、 通过彩色图像与深度图像的坐标融合， 获得茶叶三维点云， 具体为： 式中， 表示三维点云的坐标系； 表示彩色图像的坐标系； D表示深度值、 通过深 度图像获得； fx、 fy表示相机焦距； S34、 由于生成的茶叶三维点云包含茶叶嫩芽及其背景点云， 因此通过计算获得茶叶三 维点云的平均值， 并将该平均值作为距离阈值； 之后将大于距离阈值的背 景点云进 行过滤， 得到初步分割的三 维点云； 采用DBS CAN聚类算法， 通过设置参数半径Eps和邻域中要求含有 的最低样本个数Mp， 将初步分割的三维点云聚为 一类， 并筛 选出茶叶嫩芽三维点云； S35、 根据茶叶嫩芽的生长姿态， 采用主成分分析法拟合处茶叶嫩芽的最小外接长方 体； 计算获得长方体各个顶点坐标； 再通过求长方体底面四个顶点平均值获得长方体底面 中心点的坐标， 并以该点作为茶叶嫩芽的采摘点。 5.根据权利要求4所述的一种用于名优茶的智能连贯采摘系统， 其特征在于： 所述步骤 S35具体为： S351、 采用主成分分析法筛选出茶叶嫩芽三维点云的三个主方向， 即x、 y、 z方向， 并计 算质心、 协方差， 得到协方差矩阵； 具体为： 式中， Pc表示三维点云的质心坐标； n表示三维点云的数目(即点的数量)； (xi,yi,zi)表 示第i个点的三维坐标； 式中， Cp表示三维点云的协方差矩阵； S352、 对协方差矩阵进行奇异值分解， 获得 特征值与特 征向量， 具体公式为：权　利　要　求　书 2/3 页 3 CN 115271200 A 3