(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111622223.8 (22)申请日 2021.12.28 (71)申请人 东北农业大 学 地址 150000 黑龙江省哈尔滨市香坊区长 江路600号 (72)发明人 魏晓莉　沈维政　王鑫杰　戴百生　 严士超　李洋　张永根　熊本海　 (74)专利代理 机构 北京东方盛凡知识产权代理 事务所(普通 合伙) 11562 代理人 程小芳 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/40(2022.01) G06K 17/00(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/764(2022.01) (54)发明名称 一种基于孪生网络与深度数据的采食量监 测方法及系统 (57)摘要 本发明公开了一种基于孪生网络与深度数 据的采食量监测方法及系统， 包括： 采集奶牛若 干次采食的进食 前图像和进食后图像； 将进食前 图像和进食后图像输入孪生网络， 分别经过特征 提取网络映射到同一向量空间， 获得进食前多维 特征向量和进食后多维特征向量， 并将两个多维 特征向量平铺； 对平铺后的两个多维特征向量做 差， 获得新的特征向量； 将新的特征向量经由一 次全连接计算得到采食量。 本发 明无需对采食前 后的饲料堆图像进行预处理即可实现奶牛单次 采食量预测， 且受光照影响小， 在不同光照条件 下预测性能差异不大， 提高了稳定性与准确性。 此外此方法可直接与基于计算机视觉的其他方 法结合， 实现完全非接触式的个体奶牛单次采食 量监测。 权利要求书2页 说明书8页 附图1页 CN 114358163 A 2022.04.15 CN 114358163 A 1.一种基于 孪生网络与深度数据的采 食量监测方法， 其特 征在于， 包括以下步骤： 采集奶牛若干次采 食的进食前图像和进食后图像； 将所述进食前图像和所述进食后图像输入孪生网络， 分别经过特征提取网络映射到同 一向量空间， 获得进食前图像多维特征向量和进食后图像多维特征向量， 并将两个多维特 征向量平铺； 对平铺后的所述进食前多维特征向量和平铺后的所述进食后多维特征向量做差， 获得 新的特征向量； 将所述新的特征向量经由一次全连接计算得到采 食量。 2.根据权利要求1所述的方法， 其特征在于， 采集奶牛若干次采食的进食前图像和进食 后图像的过程中包括： 通过深度相机采集不同光照条件下的所述进食前图像和所述进食后图像， 所述进食前 图像和所述进食后图像的图像类型为深度图像， 所述不同光照条件包括弱光、 强光、 室内 光、 室内弱光和无光照。 3.根据权利要求1所述的方法， 其特征在于， 采集奶牛若干次采食的进食前图像和进食 后图像的过程中还 包括： 采食开始时通过RFID感应器感应到所述奶牛的耳标后， 开始采集并记录奶牛ID和进食 前饲料重量； 采食结束后， 采集所述进食后图像时， 同步采集进食后饲料重量并获得采 食时长。 4.根据权利要求3所述的方法， 其特征在于， 将所述进食前图像和所述进食后图像输入 孪生网络之前， 所述方法还 包括： 对所述图像进行数据增强处理， 所述数据增强处理包括垂直翻转、 水平翻转和垂直水 平翻转。 5.根据权利要求1所述的方法， 其特征在于， 在所述孪生网络中， 对所述进食前图像和 所述进食后图像分别进行特征提取网络映射到同一向量空间的过程中， 所述特征提取网络 采用了残差网络ResNet101结构， 残差网络采用跳跃 连接。 6.根据权利要求5所述的方法， 其特征在于， 通过所述残差网络ResNet101结构进行特 征提取的过程中包括： 先通过第一层卷积层进行卷积处理， 再通过后面四个残差层计算残差； 其中每个所述 残差层包括若干个残差块， 每个所述残差块包括三个卷积层， 且三个所述卷积层的卷积核 大小分别为1x1， 3x3， 1x1。 7.一种基于 孪生网络与深度数据的采 食量监测系统， 其特 征在于， 包括： 采集模块， 用于采集 奶牛若干次采 食的深度数据； 数据库模块， 用于存 储所述深度数据； 处理模块， 用于将所述采集模块采集的深度数据输入孪生网络进行处 理， 获得采 食量。 8.根据权利要求7所述的系统， 其特征在于， 所述采集模块包括深度相机、 RFID感应器 和重量传感器； 所述深度相机用于采集不同光照条件下的进食前图像和进食后图像， 所述进食前图像 和所述进食后图像的图像类型为深度图像， 所述不同光照条件包括弱光、 强光、 室内光、 室 内弱光和无光照；权　利　要　求　书 1/2 页 2 CN 114358163 A 2所述RFID感应 器用于感应到耳 标出现后， 采集 奶牛ID和采 食时长数据； 所述重量传感器用于分别采集进食前和进食后的饲料重量。 9.根据权利要求7所述的系统， 其特征在于， 所述处理模块包括特征提取模块和采食量 计算模块； 所述特征提取模块用于对所述深度数据进行两路特 征提取， 获取两路特 征； 所述采食量计算模块用于对两路特 征做差， 并经 过全连接计算获得采 食量。 10.根据权利要求9所述的系统， 其特征在于， 所述特征提取模块采用了两路残差网络 ResNet101结构， 残差网络采用跳跃连接， 所述残差网络ResNet101结构包括一个卷积层和 四个残差层， 每个所述残差层由若干个残差块组成， 每个所述残差块包括3个卷积层， 所述 卷积核大小分别为1x1， 3x3和1x1。权　利　要　求　书 2/2 页 3 CN 114358163 A 3