(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221017475 3.9 (22)申请日 2022.02.25 (71)申请人 河南科技大 学 地址 471000 河南省洛阳市涧西区西苑路 48号 (72)发明人 张伏　王顺青　曹炜桦　王新月　 崔夏华　禹煌　张朝臣　滕帅　 邱玉博　张亚坤　王甲甲　付三玲　 (74)专利代理 机构 洛阳公信知识产权事务所 (普通合伙) 41120 专利代理师 王陶琼 (51)Int.Cl. G01N 21/84(2006.01) G01N 21/01(2006.01) G01N 33/08(2006.01)G06V 20/68(2022.01) G06V 10/25(2022.01) G06V 10/26(2022.01) G06V 10/56(2022.01) G06V 10/54(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的群蛋图像分割受精信息检 测装置和方法 (57)摘要 本发明提供了一种基于深度学习的群蛋图 像分割受精信息检测装置及方法， 检测方法包括 以下步骤： 首先采集深度群蛋透射图像， 采用自 行设计的图像 分割方法， 将群蛋透射图像分割单 个目标区域， 建立深度种 蛋受精信息检测模型， 通过优化过的MobileNetV1神经网络模型提取图 像纹理特征， 及种蛋孵化过程中受精信息在线检 测， 实现群体种 蛋孵化过程的无损检测； 装置操 作简单， 可一次对多个种 蛋进行检测， 生产效率 高， 能够实现对种 蛋成活性的无损检测， 宜形成 规模化快速检测和满足当前自动化生产的需要； 所属模型的建立方法， 操作简洁， 利用该模型可 实现种蛋孵化早期无损受精检测， 降低生产成本 和提高检测效率。 权利要求书2页 说明书8页 附图5页 CN 114544630 A 2022.05.27 CN 114544630 A 1.基于深度学习的群蛋图像分割受精信息检测方法， 其特 征在于， 包括以下几个步骤： 步骤一、 搭建群蛋检测平台： 包括平台支架(2)、 平台底座(3)、 伺服电机(6)、 滚筒(7)、 双边传送带(8)、 拉紧装置(9)、 深度相机(10)、 蛋托定位气缸(12)、 光电传感器(13)、 可编程 控制器(15)、 计算机(16)、 蛋托装置(1)和对应安装的照蛋装置(14)； 步骤二、 采集深度群蛋透射图像； 步骤三、 群蛋感兴趣区域划分及目标区域掩码 操作； 步骤四、 建立深度种蛋(17)受精信息检测模型， 通过优化过的MobileNetV1神经网络模 型提取图像纹 理特征； 步骤五、 种蛋(17)识别网络性能测试； 步骤六、 进行种蛋(17)受精信息检测。 2.如权利要求1所述的基于深度 学习的群蛋 图像分割受精信 息检测方法， 其特征在于， 所述的步骤二包括以下步骤： A1： 所述双边传送带(8)带动所述蛋托装置(1)运动， 所述光电传感器(13)检测到蛋托 装置(1)到 达指定位置； A2： 驱动蛋托定位气缸(12)实现蛋托装置(1)与照蛋装置(14)连接， 照蛋装置(14)开 启， 可编程控制器(15)通过与计算机(16)通信控制拍摄 群蛋透射图像； A3： 蛋托定位气缸(12)复位， 照蛋装置(14)关闭。 3.如权利要求1所述的基于深度 学习的群蛋 图像分割受精信 息检测方法， 其特征在于， 所述的步骤三包括以下步骤： B1： 通过搭建好的检测平台分别获取群体种蛋(17)孵化第3d、 4d、 5d、 6d、 7d、 8d天图像， 对以上采集到的图像进行中值滤波， 祛除图像中存在的椒盐噪声； B2： 通过图像分割与深度学习结合的方法获取感兴趣(ROI)区域实现对图片颜色纹理 特征分类； B3： 为提高分割图片的速度和效果， 对种蛋(17)透射图像进行初步裁剪， 在将裁剪后图 像分割30个ROI区域， 获得 单个种蛋(17)的ROI中心坐标； B4： 创建一个与分割后大小一致掩膜， 在掩膜上绘制一个大小为ROI白色实心圆， 利用 掩膜(mask)进行 “与”操作， 通过相应的掩膜操作可保留ROI区域， 即可完成群蛋单独分割。 4.如权利要求1所述的基于深度学习的群蛋图像分割受精信息检测装置的检测方法， 其特征在于， 所述的步骤四包括以下步骤： C1： 在MobileNetV1网络顶层结构上改进， 引入一层全连接层结构(Fully  connected   layer)、 Rulu激活操作、 批量归一 化和Dropout， 优化操作； C2： 使用ReLU非线性激活函数进行更深层次的特征提取， LRN层可对输入的局部区域归 一化处理， 在一定程度上提高模型的稳定性和精度， 增强种蛋(17)识别网络的泛化能力； C3： 将合格的种蛋(17)样本照片导入搭建好的模型进行训练， 采用混合训练与迁移学 习结合的与训练模型进行微调， 分类误差采用交叉熵误差进行计算， 基于孵化过程中受精 蛋透光率的改变， 通过 学习种蛋(17)的颜色纹 理特征将种蛋(17)按照受精信息分类； C4： 分别选取预设数量的3d、 4d、 5d、 6d、 7d、 8d单个种鸡蛋孵化透射图像， 将透射图像通 过数据增强的方式将其扩增， 按7:3的比例划分为训练集与测试集， 通过优化后的 MobileNetv1网络结构建立群蛋受精信息检测模型， 在孵化 早期对无精蛋进行检测。权　利　要　求　书 1/2 页 2 CN 114544630 A 25.如权利要求4所述的基于深度学习的群蛋图像分割受精信息检测装置的检测方法， 其特征在于， 深度学习方法对褐壳受精蛋识别最佳时间应为第八天最 为适宜。 6.如权利要求1所述的基于深度学习的群蛋图像分割受精信息检测装置的检测方法， 其特征在于， 所述的步骤五包括以下步骤： D1： 采用召回率、 准确率、 训练时间和网络参数量指标对基于优化后的MobileNetV1种 蛋识别网络模型进行客观的评估， 其 准确率(ac c)、 召回率(recal l)如公式1和公式2所示： acc＝(TP+TN)/(TP+FP+TN+FN)                                (1) 其中TP表示样本为正样本， 预测结果为正； FP表示样本为负， 预测结果为正； TN表示样 本为负， 预测结果 也为负样本； FN表示样本为 正， 预测结果 为负样本情况； D2： 采用二分类交叉熵损失函数来表达预测值与实际值的差异， 损失函数公式如下： 其中 表示预测值， yi表示实际真实值， 由于种蛋识别网路是二分类， 故yi表示0或1， 即0 为受精蛋， 1为无精蛋。 7.如权利要求1 ‑6任意一项所述的基于深度学习的群蛋图像分割受精信息检测装置， 其特征在于， 所述双边传送带(8)通过传动带轮(4)和同步带轮(5)实现传动， 所述双边传送 带(8)上设有蛋托装置(1)， 所述深度相机(10)设置在所述蛋托装置(1)正上方， 所述深度相 机(10)与相机滑动式支架(11)垂直连接； 所述深度相机(10)下方设置有蛋托定位气缸 (12)、 照蛋装置(14)和光电传感器(13)， 所述光电传感器(13)、 蛋托定位气缸(12)和计算机 (16)分别与可编程控制器(15)电性相连。 8.如权利要求7所述的基于深度学习的群蛋图像分割受精信息检测装置， 其特征在于 所述照蛋装置(14)包括LED光源， LED光源按矩阵排列粘连在所述定位气缸上， 所述深度相 机(10)、 蛋托装置(1)和照蛋装置(14)在同一个垂直 光路上。 9.如权利要求8所述的基于深度 学习的群蛋 图像分割受精信 息检测装置， 其特征在于， 所述蛋托装置(1)包括多个5 ×6漏底蛋托。 10.如权利要求7所述的基于深度学习的群蛋图像分割受精信息检测装置， 其特征在 于， 所述伺服电机(6)通过齿轮与主动轮相连， 所述主动轮连接双边传送带(8)驱使从动轮 旋转； 所述双边传送带(8)包括两条短边传送带， 所述短边传送带通过设置在传送平台下方 的拉紧装置(9)和托筒 进行拉紧操作。权　利　要　求　书 2/2 页 3 CN 114544630 A 3