(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210632880.9 (22)申请日 2022.06.06 (71)申请人 华南农业大 学 地址 510640 广东省广州市天河区五山路 483号 (72)发明人 涂淑琴　黄琼　曾钱涛　黄正鑫　 刘晓龙　黄磊　 (74)专利代理 机构 佛山市君创知识产权代理事 务所(普通 合伙) 44675 专利代理师 张燕玲 (51)Int.Cl. G06T 7/246(2017.01) G06T 7/277(2017.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种改进 多目标跟踪的果实产量估算方法 (57)摘要 本发明提出一种改进多目标跟踪的果实产 量估算方法。 该方法包括以下过程： 获取自然场 景下的农作物的视频数据； 基于改进YOLOv5s模 型识别视频数据中的目标农作物； 将所述改进 YOLOv5s模型识别的结果作为跟踪算法的输入； 所述采用卡尔曼滤波、 匈牙利匹配算法以及改进 多目标跟踪算法构建产量估算算法， 并采用所述 产量估算算法 统计所述目标农作物的数量。 本发 明提供的改进多目标跟踪的果实产量估算方法， 可以实现果实产量估算的需求， 为实现果园智能 化管理提供技 术支持。 权利要求书3页 说明书13页 附图8页 CN 115330833 A 2022.11.11 CN 115330833 A 1.基于一种改进多目标跟踪的果实产量估算方法， 其特征在于， 包括以下步骤： 获取自 然场景下的农作物的视频 数据； 基于改进YOLOv5s模型识别视频 数据中的目标农作物； 采用卡尔曼滤波、 匈牙利匹配算法 以及改进多目标跟踪算法构建产量估算算法， 并采 用所述产量估算 算法统计所述目标农作物的数量； 所述采用卡尔曼滤波、 匈牙利匹配算法 以及改进多目标跟踪算法构建产量估算算法， 并采用所述产量估算 算法统计所述目标农作物的数量具体为： 将所述改进YOLOv5s模型识别的结果作为跟踪算法的输入， 利用卡尔曼滤波方法预测 目标农作物在下一帧视频中的位置； 利用匈牙利匹配算法对预测框和检测框进行匹配， 所述匈牙利匹配算法包括级联匹配 和IOU匹配融合； 匹配完毕后更新所述目标农作物的轨迹， 并更新卡尔曼滤波的参数； 基于k+1帧检测到 的所述目标农作物的检测框， 校正与目标农作物关联的轨迹的跟踪框的状态， 包括轨迹位 置和速度， 根据卡尔曼 滤波进行参数 更新； 根据所述目标农作物的位置， 设置改进多目标跟踪策略， 并改进产量估算方法， 并采用 所述产量估算 算法统计所述目标农作物的数量。 2.根据权利要求1所述的基于一种改进多目标跟踪的果实产量估算方法， 其特征在于， 所述基于改进YOLOv5s模型识别视频 数据中的目标农作物具体为： 对输入的视频 数据做预处 理， 将图像进行压缩， 并进行归一 化操作； 利用四种深度学习网络结构Focus、 CBS、 C3和SPP依次融合， 构建主干网络提取基本特 征； 构建Neck网络， 采用特征金字塔和路径聚合网络结构， 融合高层与低层特征， 生成两种 不同尺度的特 征映射； 构建头部网络， 实现多个所述目标农作物的检测与分类。 3.根据权利要求2所述的基于一种改进多目标跟踪的果实产量估算方法， 其特征在于， 所述基于改进YOLOv5s模型识别视频 数据中的目标农作物包括： 当目标农作物的尺寸大于预设值时， 将对32个卷积核特征输入CBS、 C3和 SPP网络， 以获 得特征信息P1， P2， P3， P4和P5， 其中， 生成P3， P4和P5三种特 征映射将送入到Neck网络； 当目标农作物的尺寸小于或者等于预设值时， 将对32个卷积核特征输入CBS、 C3和SPP 网络， 以获得 特征信息P1， P2， P3， P4， 其中， 生成P3和P4特 征映射将送入到Neck网络 。 4.根据权利要求3所述的基于一种改进多目标跟踪的果实产量估算方法， 其特征在于， 所述构建头 部网络， 实现多个所述目标农作物的检测与分类具体包括以下步骤： 以Neck网络中融合后的两种尺寸的特征图P3和 P4作为输入， 进行目标农作物分类与检 测； YOLOv5s的损失函数由分类损失函数和回归损失函数两部分组成； 其中所述分类损失 函数公式如下： Loss(xi,yi)＝‑wi[yilog(sigmo id(xi))+(1‑yi)log(1‑sigmoid(xi))] 其中， xi表示预测值， yi表示真实值， wi为权重， i为标签类别； 所述回归损失函数公式如下：权　利　要　求　书 1/3 页 2 CN 115330833 A 2其中， A与B为两目标框， C代 表包围A、 B的最小体积或面积。 5.根据权利要求1所述的基于一种改进多目标跟踪的果实产量估算方法， 其特征在于， 所述将所述改进YOLOv5s模型识别的结果作为跟踪算法 的输入； 利用卡尔曼滤波方法预测 目标农作物在下一帧视频中的位置具体包括以下步骤： 将YOLOv5第一帧目标农作物的检测框初始化为跟踪框； 设置x为上一视频帧的跟踪框， 所述跟踪框的轨迹的位置、 长宽及速度信息[u,v,r,h,x ′,y′,r′,h′]， 其中u,v对应目标农 作物的中心坐标， r 为长宽比， h为高， x ′,y′,r′,h′分别代表前四个参数的运动速度设置； 卡 尔曼滤波作用是预测目标农作物的横坐标x在当前视频帧中的位置及速度组成的均值和协 方差矩阵； 所述目标农作物的横坐标x跟踪框的均值预测公式为： 其中， x′是x的卡尔滤波预测均值， F为状态转移 矩阵； x跟踪框的协方差预测公式为： P′＝FPF′+Q 其中， P′是当前视频帧的目标的协方差矩阵， P则是上一视频帧的目标农作物的协方差 矩阵， Q则是噪声矩阵。 6.根据权利要求1所述的基于一种改进多目标跟踪的果实产量估算方法， 其特征在于， 所述利用匈牙利匹配算法对预测框和检测框进 行匹配， 所述匈牙利匹配算法包括级联匹配 和IOU匹配融合具体包括以下步骤： 将所述跟踪框的数据集分为已确 认的跟踪框和未确认的跟踪框； 以运动匹配度和外观 匹配度构建衡量当前检测框与预测框是否匹配的成本矩阵； 其中所述运动匹配度和所述外 观匹配度的计算公式分别为： d(1)(i,j)＝(dj‑yi)TSi‑1(dj‑yi) d(2)(i,j)＝mi n{1‑rjTrk(i)|rk(i)∈Ri} 其中， d(1)(i,j)指第j个检测框和第i个 预测框的马氏距 离， dj则是当前检测框的轨迹信 息(u,v,r,h)， Si是预测阶段所输入的协方差矩阵， yi代表预测阶段输入的均值； d(2)(i,j)指 外观特征向量的最小余弦值， rj为检测框的特征， rk(i)指第k个预测框的在第 i帧中的特征， Ri表示该预测框的最后10 0个特征； 取得基于外观信 息和马氏距离的成本矩阵， 在所述成本矩阵的基础上使用匈牙利匹配 算法得到最优解， 即输出为未匹配的轨迹、 未匹配的检测框、 匹配的轨迹； 其中， 外观信息和权　利　要　求　书 2/3 页 3 CN 115330833 A 3