(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211200115.6 (22)申请日 2022.09.29 (71)申请人 南京农业大 学 地址 210000 江苏省南京市浦口区点将台 40号 (72)发明人 朱鼎龙　 (74)专利代理 机构 南京天华专利代理有限责任 公司 32218 专利代理师 许轲　徐冬涛 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 20/10(2022.01) G06V 10/22(2022.01)G06T 7/62(2017.01) G06T 7/13(2017.01) G06T 5/10(2006.01) G06T 5/00(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 基于图像和近红外光谱表型的秧苗品质分 级监测装置与方法 (57)摘要 本发明公开了一种基于图像和近红外光谱 表型的秧苗品质分级监测装置与方法， 所述监测 装置包括： 桁架、 摄像机模块、 近红外光谱传感器 模块、 开发板、 分类动作装置、 降压板、 蓄电池和 API服务器； 所述监测方法包括： 通过摄像机获取 秧苗的RGB图像， 通过对 图像处理获取包括叶面 大小、 叶脉长度、 黄叶病斑面积等量化数据， 再通 过近红外光谱传感器模块获取光谱曲线， 并通过 信号处理提取量化数据， 然后将数据进行处理和 分类， 载入到分类模型中进行分类， 得出秧苗的 品质情况。 本发 明实现了黑 盒式的接口访问并实 现无主机化， 减小装置体积和成本并提高了算法 的运行速度； 通过手机APP开发和网页端等上位 机开发， 实现了硬件装置的挂载性同时减少了学 习成本。 权利要求书3页 说明书8页 附图4页 CN 115512160 A 2022.12.23 CN 115512160 A 1.基于图像和近红外光谱表型的秧苗品质分级监测装置， 其特征在于， 包括桁架、 摄像 机模块、 近红外光谱传感器模块、 开发板、 降压 板、 蓄电池和API 服务器； 其中： 所述桁架作为装置的硬件放置结构； 所述摄像机模块固定于桁架横梁正下方， 用于拍摄秧苗图片， 并通过网络上传图像数 据至服务器； 所述近红外光谱传感器模块位于桁架支撑臂内侧， 用于从秧苗侧方获取秧苗叶面反射 光近红外光谱； 所述开发板作为控制中枢， 用于通讯、 发送命令、 接收模块传回的数据和将数据传输至 服务器； 所述降压 板用于为装置提供合 适的工作电压； 所述蓄电池用于为装置在室外 工作时供电； 所述API服务器为设在 云端的接口服务器， 用于通过接口访问完成数据交换、 程序算法 的运行。 2.根据权利要求1所述的基于图像和近红外光谱表型的秧苗品质分级监测装置， 其特 征在于， 所述监测装置还包括分类动作装置， 其作为秧苗品质筛选驱动机械， 用于对秧苗进 行分级后进行淘汰筛 选。 3.基于图像和近红外光谱表型的秧苗品质分级监测方法， 其特 征在于包括如下步骤： 步骤1： 通过yolov5s训练方法进行训练得到识别模型； 通过SVM机器学习训练得到分类 模型； 步骤2： 将秧苗 放置到检测台上后， 按动上位机的 “拍照”按钮， 发送获取图片的命令； 步骤3： 当拍摄图片后， 访 问服务器的图片上传接口并进行图片上传， 之后图片保存到 服务器中， 并进行图像畸变矫 正； 步骤4： 服务器调用YOLOv5识别模型对图片进行分析， 查看图中是否真的有秧苗来防止 恶意或错误使用， 如无秧苗会输出err信息到装置， 请求让用户重新拍摄图片， 反之进入下 一步； 步骤5： 服务器发送命令使用近红外光谱传感器模块从近 叶端获取秧苗近红外光谱曲 线， 并对近红外光谱仪进行频域变换， 使用快速傅里叶法FFT将曲线变为频域范围序列， 之 后由服务器保存接收； 步骤6： 服 务器调用表型量 化处理命令接口， 开始进行图像处 理算法量 化图片表型； 步骤7： 服务器调用表型量化处理命令接口， 开始进行信号处理算法量化近红外光谱表 型； 步骤8： 服务器调用分类命令接口， 对所有的数据进行处理和分类， 载入到SVM机器学习 后的分类模型中进行分类， 得 出秧苗的品质情况； 步骤9： 服务器调用驱动命令接口， 根据品质结果分别发送A、 B、 C三种等级对应驱动命 令给装置， 使得装置操纵分类驱动设备进行分类动作； 步骤10： 服务器调用表型输出接口， 将结果反馈到上位机中， 上位机获取到分类检测结 果。 4.根据权利要求3所述的基于图像和近红外光谱表型的秧苗品质分级监测方法， 其特 征在于， 所述识别模型训练过程如下：权　利　要　求　书 1/3 页 2 CN 115512160 A 2步骤101： 随机 选择一定数量的秧苗并进行筛 选， 将其分为A、 B、 C三个不同品质组别； 步骤102： 对各组的秧苗从顶部拍摄RGB图像， 得到 秧苗图片样本集； 步骤103： 对所有秧苗图片中的秧苗主体进行框选， 并标记统一标签， 生成内含选框四 角的坐标和标签的文本文件； 步骤104： 将图片和标签文本文件一一对应作为数据集， 按照比例将其分成训练集和测 试集两部分； 步骤105： 设置训练程序， 将数据集作为输入， 并选择yolov5s训练方法模型进行训练； 训练完成后查看训练结果报告， 直至实际秧苗识别率达90％以上。 5.根据权利要求4所述的基于图像和近红外光谱表型的秧苗品质分级监测方法， 其特 征在于， 所述分类模型的学习训练过程如下： 步骤106： 对步骤102中得到的秧苗图片样本集进行图像预处 理； 步骤107： 对样本集进行颜色增强； 步骤108： 对样本集进行表型遮罩Mask 提取； 步骤109： 对样本集进行表型遮罩Mask 边缘检测； 步骤110： 对样本集进行表型图片量 化； 步骤111： 获取秧苗叶片的近红外光谱； 步骤112： 进行一阶导光谱计算， 计算公式： 其中： L(w)为近 红外光谱曲线， L ′(w)光谱曲线一阶导函数， w0为取样点横坐标， 求出采样点一阶导数作为 光谱量化值； 步骤113： 将每个植株样本的量化结果和分级一一对应作为样本， 制作成数据集， 按照 比例将其分成训练集和 测试集两 部分； 步骤114： 使用程序导入数据集并进行SVM机器学习训练， 学习之后得到训练模型和模 型准确度， 直至准确度为达95％以上， 满足要求。 步骤115： 保存YOLOv5和SVM训练后得到的模型文件并进行 载入即可使用。 6.根据权利要求5所述的基于图像和近红外光谱表型的秧苗品质分级监测方法， 其特 征在于， 所述图像预处理使用高斯模糊去 除图片中的噪点， 使用公式： g(i,j)＝h(i,j)*f (i,j),将g(i,j)按照图片顺序排列形成图像矩阵即可获得去除噪点后的图像， 其中i， j分 别为像素大小， h(i,j)为高斯平滑滤波器， 设置为3 ×3的矩阵， f(i,j)为原图像的各个像 素， g(i,j)为卷积后的各图像 像素。 7.根据权利要求5所述的基于图像和近红外光谱表型的秧苗品质分级监测方法， 其特 征在于， 所述颜色增强使用公式： fin＝α G+β B+γR， 对要提取的表型包含颜色进行增强， 其 中， fin为增强后地图像， α、 β、 γ为系数， G、 B、 R分别为绿蓝红单色通道图像， 其中提取植株 本体表型参数设置为α ＝1、 β ＝ ‑1、 γ＝0.6， 提取枯黄部位表型参数设置为α ＝ ‑1、 β ＝0、 γ ＝1。 8.根据权利要求5所述的基于图像和近红外光谱表型的秧苗品质分级监测方法， 其特 征在于， 所述表型遮罩Mask提取使用大津法获取最佳阈值将表型增强后的图转化为二值图 像， 并使用开闭运算对图像进行边缘拟合， 后进行反色处理得到整颗秧苗和黄叶的遮罩 Mask； 所述表型遮罩Mask边缘检测， 分别为对 所有Mask进行Sobel边缘检测算子的边缘检测权　利　要　求　书 2/3 页 3 CN 115512160 A 3