(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210655674.X (22)申请日 2022.06.10 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 梁浩　费伦科　苏建澎　江巧娴　 梁立斌　张诗乔　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 刘俊 (51)Int.Cl. G16H 50/70(2018.01) G16H 50/80(2018.01) G06V 10/25(2022.01) G06V 10/40(2022.01)G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/69(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种面向多重目标图像的检测方法及系统 (57)摘要 本发明提出一种面向多重目标图像的检测 方法及系统， 涉及图像检测的技术领域， 获取原 始图像数据集， 原始图像数据集中的每个原始图 像均包括大目标区域和小目标区域， 构建目标检 测模型， 目标检测模型包括依次连接的YOLO网络 模型、 FPN网络模型、 PAN网络模型以及检测网络 模型， 通过预处理后的原始图像数据集训练目标 检测模型， 得到训练好的目标检测模型， 获取待 检测图像， 待检测图像包括大目标区域和小目标 区域构成的多重目标区域， 将待检测图像输入训 练好的目标检测模型， 输出待检测图像各目标区 域的检测结果， 能够提高对小目标的定位精度以 及对小目标的特 征提取效果。 权利要求书3页 说明书8页 附图4页 CN 114927236 A 2022.08.19 CN 114927236 A 1.一种面向多重目标图像的检测方法， 其特 征在于， 包括： S1.获取原始图像数据集， 所述原始图像数据集中的每个原始图像均包括大目标区域 和小目标区域； S2.对原始图像数据集进行预处理， 得到预处理后的图像数据集， 并将图像数据集划分 为训练集、 验证集和 测试集； S3.构建目标检测模型， 目标检测模型包括依次连接的YOLO网络模型、 FPN网络模型、 PAN网络模型以及检测网络模型； S4.利用训练集对目标检测模型进行训练， 利用验证集对训练过程中的目标检测模型 进行评估， 利用测试集测试目标检测模型的有效性， 得到训练好的目标检测模型； S5.获取待检测图像， 所述待检测图像包括大目标区域和小目标区域构成的多重目标 区域， 将待检测图像输入训练好的目标检测模型， 输出待检测图像各目标区域的检测结果。 2.根据权利要求1所述的面向多重目标图像的检测方法， 其特征在于， 所述原始图像数 据集中的每一个原 始图像是通过手机高清摄 像头拍摄获取的。 3.根据权利要求2所述的面向多重目标图像的检测方法， 其特征在于， 所述对原始图像 数据集进行 预处理的过程包括： 对原始图像数据集的每个原始图像进行标注， 标注出每个原始图像中大目标区域真实 框和小目标区域真实框， 得到分别对应于每 个原始图像的图像标注数据集。 4.根据权利要求3所述的面向多重目标图像的检测方法， 其特征在于， 所述对原始图像 数据集进行 预处理的过程还 包括： 对原始图像数据集中的每个原始图像进行翻转操作、 缩放操作以及数据增强操作， 根 据所述翻转操作、 缩放操作以及数据增强操作更改图像标注数据集中每个与原始图像对应 的图像标注数据的数值信息， 所述数值信息包括大目标区域真实框在图像中的坐标信息以 及小目标区域真实框在图像中的坐标信息； 将原始图像数据集中多个原 始图像拼接为 一张图像。 5.根据权利要求4所述的面向多重目标图像的检测方法， 其特征在于， 所述YOLO网络模 型包括依次连接的CSPDarkent 53网络及SPPF模块， 所述CSPDarkent 53网络的网络参数和权 重使用在通用的Ima geNet图像分类数据集预训练得到的网络参数和权 重。 6.根据权利要求5所述的面向多重目标图像的检测方法， 其特 征在于， 在步骤S4中， 通过CSPDarkent53网络对预处理后的原始图像数据 集进行特征提取操作， 得到第一特 征图， 通过SPPF模块对第一特征图进行池化操作以及特征融合操作， 得到第二特征图， 将第 二特征图输入FPN网络模型进行多尺度特征学习， 得到第三特征图， 将第三特征图输入PAN 网络模型进 行特征尺寸定位学习， 得到第四特征图， 将第四特征图输入检测网络模型， 基于 第四特征图， 在检测网络模 型处进行自动标注和分类预测， 得到大目标区域的预测边界框、 小目标区域的预测边界框， 以及分别与大目标区域预测边界框、 小目标区域预测边界框对 应的分类概率， 当大目标区域的预测边界框与大目标区域的真实框的差异度小于等于预设 差异度时， 且小目标区域的预测边界框与小目标区域的真实框的差异度小于等于预设差异 度时， 训练结束， 得到训练好的目标检测模型。 7.根据权利要求6所述的面向多重目标图像的检测方法， 其特征在于， 所述检测网络模 型通过预定义描框标注的形式对大目标预测区域以及小目标预测区域进 行自动标注， 所述权　利　要　求　书 1/3 页 2 CN 114927236 A 2预定义描框标注为自适应描框标注， 自适应描框标注的自适应 计算过程 为： 设定用于标注大目标 预测区域以及小目标 预测区域的初始描框的宽和高； 根据所述第四特征图中特征图像的宽和高对特征图像按预设比例进行缩放， 得到缩放 后的特征图像； 引入K‑means聚类算法， 根据缩放后的特征 图像设定K ‑means聚类算法的的聚类中心， 所述聚类中心为矩形框； 确定初始描框与聚类中心 的交集面积、 初始描框与聚类中心 的并集面积， 根据交集面 积和并集 面积的比值更新K ‑means聚类算法的聚类结果； 根据所述聚类结果更新初始描框的宽和高， 得到大目标区域预测边界框， 小目标区域 预测边界框 。 8.根据权利要求7所述的面向多重目标图像的检测方法， 其特征在于， 大目标区域的预 测边界框与大目标区域的真实框的差异度及小目标区域的预测 边界框与小目标区域的真 实框的差异度均通过损失函数Loss 的数值进行评价， Loss的数值表示差异度大小， Loss 的 预设数值用以表示预设差异度， 具体如下： 原始图像中大目标区域以及小目标区域内的部分设为前景， 大目标区域以及小目标区 域外的部分 设为背景， 将原 始图像均分为若干网格， 引入损失函数公式如下： Loss＝ λ1Lcls+λ2Lobj+λ3Lloc     (1) 其中， λ1、 λ2、 λ3为超参数， Lcls是判断原始图像分类所产生 的误差， Lobj是判断是否为前 景目标所产生的误差， Lloc是对大目标区域 边界框和小目标区域 边界框定位带来的误差； Lcls的公式具体如下： 其中， B为大目标区域真实框和小目标区域真实框 个数， 代表第i个网格中的第j个预 测边界框是否为前景目标， 若是， 取值为1， 否则取值为0， pi(c)为分类概率， p ′i(c)＝1‑pi (c)， log()为对数函数； Lobj的公式具体如下： 代表第i个网格中的第j个 预测边界框的是否为背景目标， 若是， 取值为1， 若否， 取 值为0， ci为真实的置信度， 若为 前景目标则取值为1， 若为背景目标则取值为0， c ′i为预测的 置信度， 若为前 景目标则取值 为1， 若为背景目标则取值 为0； Lloc的公式具体如下： Lloc＝LCIoU＝1‑CIoU   (4) CIoU＝IoU‑( ρ2(b， bgt)/c2+α v)    (5) a＝v/(1‑IoU)+v   (6) v＝4/Π2(tan‑1wgt/hgt‑tan‑1w/h)    (7) 其中， IoU为真实框和预测边界框交集面积和并集面积的比值， ρ2(b， bgt)代表预测边界 框和真实框的中心点的距离的平方， c2代表能够同时包含预测边 界框和真实框的最小闭包 区域的对角线距离的平方， wgt/hgt为真实框的长宽比， w/h为预测边 界框的长宽比， tan‑1()权　利　要　求　书 2/3 页 3 CN 114927236 A 3