(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211195834.3 (22)申请日 2022.09.29 (71)申请人 江西理工大 学 地址 341000 江西省赣州市章贡区红旗大 道86号 (72)发明人 黄君洪　李伟　蒋海浪　 (74)专利代理 机构 南昌金轩知识产权代理有限 公司 36129 专利代理师 黄亮亮 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/20(2022.01) G06V 10/32(2022.01) G06V 10/40(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于数据增强的细粒度图像分类方法 (57)摘要 本发明提供一种基于数据增强的细粒度图 像识别方法， 属于计算机视觉技术领域。 本发明 首先在训练阶段首先通过特征图定位对象最具 有判别力的细微部件作为增强的部件图像， 然后 擦除对象最具有判别力的细微部件作为增强的 互补图像。 通过输入部件图像可以使模型学习对 象最具有判别力的细微部件， 通过输入互补图像 可以迫使网络发现对象其他具有判别力的细微 部件。 本文所提出的方法先定位对象最具有判别 力的部件作为增强的部件图像再进行擦除， 提升 了最具有判别力的部件在图像中的占比， 在部件 掩码的指导下进行擦除， 避免了擦除时引入 过多 噪声， 保证了擦除的准确性； 模型可以学到对象 的多个具有判别力的部件， 提升细粒度图像分类 效果。 权利要求书3页 说明书6页 附图2页 CN 115546540 A 2022.12.30 CN 115546540 A 1.一种基于数据增强的细粒度图像分类方法， 其特 征在于， 包括： S1数据预处 理： 对原始图像进行图像预处 理得到训练图像； S2模型训练： S21将所述训练图像输入到骨干网络中得到特征图一， 所述特征图一经过全连接层分 类后计算分类的原 始损失； S22根据所述特 征图一对所述训练图像进行 特征定位得到 定位对象图； S23将所述定位对象图输入到骨干网络中得到特征图二， 所述特征图二经过全连接层 分类后计算分类的定位损失； S24根据所述特征图二对所述定位对象图进行数据增强处理得到部件图像和互补图 像； S25依次将所述部件图像和所述互补图像输入到骨干网络和全连接层， 并计算分类的 部件损失和互补损失； S26将所述原始损失、 定位损失、 部件损失和互补损失之和作为模型的整体损失， 通过 反向传播更新模型参数； S27重复步骤S2， 直到模型收敛或者达 到指定的迭代次数； S3图像分类： S31将经过图像预处 理的待分类图像输入到骨干网络中得到特 征图三； S32根据所述特 征图三对所述待分类图像进行 特征定位得到 定位对象图像； S33将所述定位对象图像输入到骨干网络和全连接层得到所述待分类图像对应的标签 类别； 所述骨干网络是以图像分类为训练任务的预训练模型； 所述步骤S21、 S23、 S25中的骨干网络、 全连接层是共享 参数的。 2.如权利要求1所述的一种基于数据增强的细粒度图像分类方法， 其特征在于， 所述图 像预处理包括： 图像缩放、 随机水平翻转、 颜色抖动和归一 化处理； 所述图像缩放是将所述原 始图像缩放到统一的尺寸。 3.如权利要求2所述的一种基于数据增强的细粒度图像分类方法， 其特征在于， 所述根 据所述特 征图一对所述训练图像进行 特征定位得到 定位对象图， 包括： 对所述特 征图一在通道方向上进行求和得到 激活图一A； 计算所述激活图一的均值作为第一阈值 λ； 根据第一阈值和激活图一计算对象掩码Mobj， 计算公式如下： ； 对所述对象掩码进行双线性插值缩放到所述训练图像的大小， 再与 所述训练图像逐元 素相乘得到 定位对象图； 所述对所述特 征图一在通道方向上进行求和的计算公式为 ； 其中， A(x,y)是激活图一在(x,y)位置处的数值； F∈RC x H x W表示骨干网络最后一层卷积层输出的特 征图， Fi表示第i个通道的图像； C为特征图的通道数；权　利　要　求　书 1/3 页 2 CN 115546540 A 2W、 H分别是激活图一的像素宽度、 像素高度。 4.如权利要求3所述的一种基于数据增强的细粒度图像分类方法， 其特征在于， 所述根 据所述特 征图二对所述定位对象图进行 数据增强处 理得到部件图像和互补图像， 包括： 对所述特 征图二在通道方向上进行求和得到 激活图二； 取所述激活图二中的第H ×W×k大的值为第二阈值θ； 根据所述第二阈值和激活图二计算部件 掩码Mpart， 计算公式如下： ； 对所述部件掩码进行双线性插值到所述训练图像的大小再求非零值的最小外接矩形 得到边界框； 根据所述 边界框从所述定位对象图中裁 剪出最具判别 力的部件图像； 根据所述部件 掩码计算互补掩码， 计算公式如下： ； 对所述互补掩码进行双线性插值放缩到所述训练图像的大小， 再与 所述训练图像逐元 素相乘得到的互补图像； 所述根据 所述边界框从所述定位对象图中裁剪出最具判别力的部件图像， 还包括将部 件图像进行双线性插值到所述定位对象图的大小； 其中， k为区间(0,1)的数； H、 W分别是激活图二的像素宽度、 像素高度； B(x,y)是激活图二在(x,y)位置处的数值； Mpart(x,y)是部件掩码在(x,y)位置处的数值； Mcom(x,y)是互补掩码在(x,y)位置处的数值。 5.如权利要求4所述的一种基于数据增强的细粒度图像分类方法， 其特征在于， 所述根 据所述特 征图三对所述待分类图像进行 特征定位得到 定位对象图像， 包括： 对所述特 征图三在通道方向上进行求和得到 激活图三C； 计算所述激活图三的均值作为第三阈值设置β； 根据所述第三阈值和激活图三计算对象掩码， 计算公式如下： ； 对所述对象掩码进行双线性插值缩放到所述待分类图像的大小， 并与 所述待分类图像 逐元素相乘得到 定位对象图； 其中， C(x,y)是激活图三中(x,y)位置处的数值； Mnew(x,y)是对象掩码在(x,y)位置处的数值。 6.如权利要求1所述的一种基于数据增强的细粒度图像分类方法， 其特征在于， 所述计 算分类的原始损失、 计算分类的定位损失和计算分类的部件损失和互补损失， 使用的损失 函数都是交叉熵损失函数。权　利　要　求　书 2/3 页 3 CN 115546540 A 3