(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210277966.4 (22)申请日 2022.03.21 (71)申请人 华南师范大学 地址 528225 广东省佛山市南海区狮山 南 海软件园华 南师范大学软件学院 (72)发明人 冼广铭　陶睿　 (74)专利代理 机构 广州骏思知识产权代理有限 公司 44425 专利代理师 张金龙 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 20/00(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于深度学习的图像细粒度分类方法及装 置 (57)摘要 本发明涉及一种基于深度学习的图像细粒 度分类方法， 包括步骤： 获取待分类的中草药图 像； 将所述待分类的中草药图像输入HP ‑SKNet图 像细粒度分类模 型进行处理， 得到所述待分类的 中草药图像的所属类别。 相对于现有技术， 本发 明提供一种基于深度学习的图像细粒度分类方 法通过有效的注意力机制与跨层双线性池化框 架， 能够精确地定位图像中具有区分性的区域并 且提取丰富全面、 有效的细粒度特征， 从而准确 高效地分辨易于混淆的待分类主体。 本发明将细 粒度概念引入中草药分类领域， 不同于以往的轮 廓形状特征提取， 能够提取更细粒度的特征， 满 足对易于混淆的中草药识别的需要。 权利要求书2页 说明书9页 附图3页 CN 114638993 A 2022.06.17 CN 114638993 A 1.一种基于深度学习的图像细粒度分类方法， 其特 征在于， 包括 步骤： 获取待分类的中草药图像； 将所述待分类的中草药图像输入HP ‑SKNet图像细 粒度分类模型进行处理， 得到所述待 分类的中草药图像的所属类别； 其中， 所述HP ‑SKNet图像细粒度分类模型包括注意力特征提取子模型、 跨层双线性交 互子模型和分类子模型， 所述注意力 特征提取子模型包括SKNet网络的前向传播模块和SK 卷积模块， 所述SKNet网络的前向传播模块用于根据所述待分类的中草药图像获得多个不 同卷积层次的初步特征图， 所述SKNet网络的SK卷积模块用于根据每一所述初步特征图获 得对应的多权重特征图； 所述跨层双线性交互子模型包括交互层， 所述交互层用于将所述 多权重特征图两两交叉组合， 并根据每组多权重特征图进行双线性模型的计算并进行交 互， 以及根据全部交互结果级联获得交互特征向量FHP‑SKNet； 所述分类子模型用于根据所述 交互特征向量FHP‑SKNet进行分类， 确定所述待分类的中草药图像所属的类别。 2.根据权利要求1所述的图像细粒度分类方法， 其特征在 于： 所述交互特征向量FHP‑SKNet 的表达式为： 式中， P为用于控制输 出长度的分类矩阵， d1为决定联合嵌入维度的超 参数， K为图像类别的类别数； concat()为通道级联操作； m1,m2,...,ml分别为各所述多权重特征 图在同一空间位置的输入向量； Q, 为输入向量m1,m2,...,ml的映射矩阵； ⊙表 示哈达玛积； b是偏置 。 3.根据权利要求1所述的图像细粒度分类方法， 其特征在于： 所述SKNet网络的前向传 播模块用于根据所述待分类的中草药图像获得三个不同卷积层次的初步特 征图； 所述交互特征向量FHP‑SKNet的表达式为： 式中， P为用于控制输出长度的分类矩阵， d1为决定联合嵌入维度的超参数， K为图像类别的类别数； concat()为通道级联操作； m1,m2,m3为三个所述初步特征图对应的 多权重特征图再同一空间位置的输入向量； Q， 分别为所述输入向量m1,m2,m3的映射矩 阵；⊙表示哈达 玛积； b是偏置 。 4.根据权利要求1所述的图像细粒度分类方法， 其特征在于： 所述跨层双线性交互子模 型还包括映射层和池化层， 所述映射层用于将全部所述多权重特征图通过独立的线性映射 扩展到高维空间， 得到特征映射矩阵； 所述交互层根据所述特征映射矩阵中的多权重特征 图获得交互特征向量FHP‑SKNet； 所述池化层用于对所述交互特征向量FHP‑SKNet执行总和池化 操作， 将高维特 征压缩成紧凑的特 征。 5.根据权利要求1所述的图像细粒度分类方法， 其特征在于： 所述分类子模型包括全连 接层和输出层， 所述全连接层用于对压缩后的交互特征向量FHP‑SKNet进行全连接层处理； 所 述输出层用于通过Softmax函数对全连接层处理后的交互特征向量FHP‑SKNet进行标准化， 得 到所述待分类的中草药图像对于每一类别的概率分布， 确定概率分布中的最大值对应的类 别为所述待分类的中草药图像的所属类别。权　利　要　求　书 1/2 页 2 CN 114638993 A 26.根据权利要求1所述的图像细粒度分类方法， 其特征在于： 获取待分类的中草药图像 后， 包括步骤： 对所述待分类的中草药图像进行归一化处理， 将所述待分类的中草药图像转 换为唯一标准形式的图像。 7.一种基于深度学习的图像细粒度分类装置， 其特 征在于， 包括： 图像获取模块， 用于获取待分类的中草药图像； 图像处理模块， 用于将所述待分类的中草药图像输入HP ‑SKNet图像细粒度分类模型进 行处理， 得到所述待分类的中草药图像的所属类别； 其中， 所述HP ‑SKNet图像细粒度分类模型包括注意力特征提取子模型、 跨层双线性交 互子模型和分类子模型， 所述注意力 特征提取子模型包括SKNet网络的前向传播模块和SK 卷积模块， 所述SKNet网络的前向传播模块用于根据所述待分类的中草药图像获得多个不 同卷积层次的初步特征图， 所述SKNet网络的SK卷积模块用于根据每一所述初步特征图获 得对应的多权重特征图； 所述跨层双线性交互子模型包括交互层， 所述交互层用于将所述 多权重特征图两两交叉组合， 并根据每组多权重特征图进行双线性模型的计算并进行交 互， 以及根据全部交互结果级联获得交互特征向量FHP‑SKNet； 所述分类子模型用于根据所述 交互特征向量FHP‑SKNet进行分类， 确定所述待分类的中草药图像所属的类别。 8.根据权利要求7所述的图像细粒度分类装置， 其特征在于： 所述卷积神经网络用于根 据所述待分类的中草药图像获得三个不同卷积层次的初步特 征图； 所述交互特征向量FHP‑SKNet的表达式为： 式中， P为用于控制输出长度的分类矩阵， d1为决定联合嵌入维度的超参数， K为图像类别的类别数； concat()为通道级联操作； m1,m2,m3为三个所述初步特征图对应的 多权重特征图再同一空间位置的输入向量； Q， 分别为所述输入向量m1,m2,m3的映射矩 阵；⊙表示哈达 玛积； b是偏置 。 9.根据权利要求7所述的图像细粒度分类装置， 其特征在于： 所述跨层双线性交互子模 型还包括映射层和池化层， 所述映射层用于将全部所述多权重特征图通过独立的线性映射 扩展到高维空间， 得到特征映射矩阵； 所述交互层根据所述特征映射矩阵中的多权重特征 图获得交互特征向量FHP‑SKNet； 所述池化层用于对所述交互特征向量FHP‑SKNet执行总和池化 操作， 将高维特 征压缩成紧凑的特 征。 10.根据权利要求7 所述的图像细粒度分类装置， 其特 征在于， 还 包括： 图像预处理模块， 用于在获取待分类的中草药图像后， 对所述待分类的中草药图像进 行归一化处理， 将所述待分类的中草药图像转换为唯一标准形式的图像。权　利　要　求　书 2/2 页 3 CN 114638993 A 3