(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961079.9 (22)申请日 2022.08.11 (71)申请人 北京林业大 学 地址 100083 北京市海淀区清华 东路35号 北京林业大 学 (72)发明人 陈锋军　朱学岩　沈德宇　王瑞鹏　 郑一力　 (74)专利代理 机构 北京卓胜佰达知识产权代理 有限公司 16 026 专利代理师 刘冬梅 (51)Int.Cl. G06V 20/68(2022.01) G06V 10/762(2022.01) G06V 10/46(2022.01) G06V 10/82(2022.01)G06V 10/77(2022.01) G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) A01D 46/30(2006.01) (54)发明名称 核桃果实成熟度聚类识别方法、 装置及系统 和存储介质 (57)摘要 本发明公开一种核桃果实成熟度聚类识别 方法、 装置及系统和存储介质， 通过人工智 能深 度学习中的无监督学习技术构建核桃果实成熟 度聚类识别模 型， 实现核桃成熟度的自动聚类识 别， 并测量不同成熟度核桃果实的内部品质， 进 而解释核桃果实内部品质与外部表型间的关系， 建立核桃成熟度与内部品质间的模糊联系， 并根 据识别的成熟度以及对应的内部品质确定最佳 采收成熟度， 为核桃的智能化采摘提供了一种全 新的技术思路。 权利要求书2页 说明书8页 附图2页 CN 115331216 A 2022.11.11 CN 115331216 A 1.一种核桃果实成熟度聚类识别方法， 其特 征在于， 所述方法包括： 利用卷积神经网络模型提取样本集中各图像样本中核桃果实的表型特征信 息， 并进行 主成分分析和归一 化处理， 获得用于描述核桃果实成熟度差异的关键表型 特征； 基于所述关键表型特征， 对所述图像样本进行聚类处理， 将图像样本划分为多个成熟 度分组； 以所述多个成熟度分组为训练样本， 对所述卷积神经网络模型进行训练， 得到识别模 型； 利用所述识别模型识别核桃果实样本， 将所述核桃果实样本 中的核桃果实识别为不同 的成熟度， 从每个成熟度的核桃果实中随机选择至少 十个核桃果实， 根据不同成熟度核桃 果实间的内部品质参数 的联系， 建立核桃成熟度与内部品质参数间的模糊联系， 并根据识 别的成熟度以及对应的内部品质确定最佳采收成熟度； 所述内部品质参数包括含油率、 可 溶性糖含量以及可 溶性蛋白含量。 2.根据权利要求1所述的方法， 其特 征在于， 所述样本集 通过如下 方法获得： 获取核桃果实的可 见光图像； 对所述可 见光图像进行裁 剪以确保可 见光图像内包 含核桃果实而不包 含背景区域； 以裁剪后的可 见光图像搭建所述样本集。 3.根据权利要求1所述的方法， 其特征在于， 所述利用卷积神经网络模型提取样本集中 各图像样本中核桃果实的表型特征信息， 并进行主成分分析和归一化处理， 获得用于描述 核桃果实成熟度差异的关键表型 特征， 包括： 基于表型特征信息， 采用主成分分析提取累积贡献率超过95%的表型特征信息， 并对所 述累积贡献率超过95%的表型特征信息进行L2归一化处理， 得到用于描述核桃果实成熟度 差异的关键表型 特征； 所述L2归一化处理如公式 （1） 所示： （1） 其中，x为归一化之前的特征向量， y为归一化后的特征向量， 为归一化之前的特征向 量x的转置矩阵。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述关键表型特征， 对所述图像 样本进行聚类处 理， 将图像样本划分为多个成熟度分组， 包括： 对所述关键表型 特征进行聚类分析， 通过如下公式 （2） 为各个图像样本分配伪标签； （2） 其中，N为样本集中图像样本的数量； yn为每个图像样本的伪 标签；k为用于标识核桃成 熟度的伪标签数量； C为d×k质心矩阵，d为聚类的成熟度数量， 为关键表型特征， xn为第n 幅图像样本， 为每个图像样本的伪标签的转置矩阵， 1k为k维单位矩阵。 5.根据权利要求4所述的方法， 其特征在于， 所述以所述多个成熟度分组为训练样本， 对所述卷积神经网络模型进行训练， 得到识别模型， 包括：权　利　要　求　书 1/2 页 2 CN 115331216 A 2采用交叉熵损失函数度量所述伪标签与以初始权重配置的卷积神经网络模型分类的 结果， 并通过反向传播更新卷积神经网络模型的网络参数； 以更新后的网络参数配置的卷积神经网络模型再次提取核桃图像的表型特征， 进而进 行主成分分析、 归一化以及聚类， 获得新的聚类分配伪标签， 并再次通过 交叉熵损失计算聚 类和预测结果的损失， 再次更新网络参数， 反复执行预设的次数最终获得一组最优表型特 征信息提取的网络参数； 利用最优表型 特征信息提取的网络参数配置卷积神经网络模型 得到识别模型。 6.根据权利要求5所述的方法， 其特征在于， 所述交叉熵损失函数计算损失值如公式 （3） 所示： （3） 其中N‑数据集中核桃图像的数量； 卷积神经网络的网络参数； f‑特征映射； 多项 对数损失函数； gW ‑参数化分类 器。 7.根据权利 要求1所述的方法， 其特征在于， 通过索氏提取法、 考马斯亮蓝 ‑G250染料法 和苯酚硫酸法检测不同成熟度核桃果实的含油率、 可 溶性蛋白含量以及可 溶性糖含量。 8.一种核桃果实成熟度聚类识别装置， 其特 征在于， 所述装置包括： 特征提取模块， 被配置为利用卷积神经网络模型提取样本集中各图像样本 中核桃果实 的表型特征信息， 并进行主成分分析和归一化处理， 获得用于描述核桃果实成熟度差异的 关键表型 特征； 聚类分析模块， 被配置为基于所述关键表型特征， 对所述图像样本进行聚类处理， 将图 像样本划分为多个成熟度分组； 模型训练模块， 被配置为以所述多个成熟度分组为训练样本， 对所述卷积神经网络模 型进行训练， 得到识别模型； 模型识别模块， 被配置为利用所述识别模型识别核桃果实样本， 将所述核桃果实样本 中的核桃果实识别为 不同的成熟度； 最佳采收成熟度确定模块， 被配置为从每个成熟度的核桃果实中随机选择至少十个核 桃果实， 根据不同成熟度核桃果实间的内部品质参数 的联系， 建立核桃成熟度与内部品质 参数间的模糊联系， 并根据识别的成熟度以及对应的内部品质确定最佳采收成熟度； 所述 内部品质参数包括含油率、 可 溶性糖含量以及可 溶性蛋白含量。 9.一种核桃果实成熟度聚类识别系统， 其特 征在于： 所述系统包括： 存储器， 用于存 储计算机程序； 处理器， 用于执 行所述计算机程序以实现如权利要求1至7中任一项所述的方法。 10.一种存储有指令的非暂时性计算机可读存储介质， 当所述指令由处理器执行时， 执 行根据权利要求1至7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115331216 A 3