(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210131553.5 (22)申请日 2022.02.14 (71)申请人 南京理工大 学 地址 210094 江苏省南京市玄武区孝陵卫 200号南京理工大 学 (72)发明人 孙运莲　庄程　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 刘芳 (51)Int.Cl. G06K 9/62(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于轻量级 Non-Local的 图像分类方法及系 统 (57)摘要 本发明涉及基于轻量级Non ‑Local的图像分 类方法及系统， 属于图像分类领域。 利用轻量级 网络的分组隐式聚类特点， 对瓶颈层后的抽象特 征进行分组， 简化了原始Non ‑Local的长连接关 系获取机制， 从而降低了计算复杂度。 利用一元 长连接关系和点对长连接关系对 特征进行提取， 在降低计算复杂 度的同时保留了Non ‑Local原本 带来的长连接性能， 实现了计算复杂度和Non ‑ Local长连接的兼容。 利用提取的特征对图像的 类型进行预测， 并计算预测的图像类型和实际的 图像类型的交叉熵损失， 根据交叉熵损失对模型 进行训练， 得到训练好的模型， 并利用训练好的 模型进行图像 分类， 既能提高图像 分类准确性又 能避免计算 量大幅度提升 。 权利要求书3页 说明书7页 附图2页 CN 114492659 A 2022.05.13 CN 114492659 A 1.一种基于轻量级N on‑Local的图像分类方法， 其特 征在于， 所述方法包括： 将样本图像输入轻量级网络， 在所述轻量级网络的每一个瓶颈层后得到抽象特 征； 将所述抽象特 征沿着通道维度划分为G个组； 针对每一组的所述抽象特征， 通过卷积方式获得一个空间权重， 所述空间权重为针对 当前组的全局空间注意力 信息； 利用当前组的所述全局空间注意力信 息对该组的像素点进行加权幅度转换， 得到当前 组的一元长连接特 征； 将当前组的所述一元长链接特征， 利用一个轻量卷积得到一个语义聚集权重， 根据所 述语义聚集权 重针对当前组进行全局 加权池化， 得到当前组的语义信息； 将当前组的所述一元长链接特征， 利用一个轻量卷积得到一个当前组的语义分配权 重； 结合当前组的所述语义信 息和当前组 的所述语义分配权重， 得到当前组 的点对长连接 特征； 将当前组 的所述一元长连接特征和当前组 的所述点对长连接特征融合， 得到当前组 的 完整特征， 所述样本图像的完整特 征即为G个组的完整特 征的总和； 利用所述样本图像的完整特征对所述样本图像的类型进行预测， 并计算预测的样本图 像类型和实际的样本图像类型的交叉熵损失， 根据所述交叉熵损失对轻量级网络模型进 行 训练， 得到训练好的模型； 利用所述训练好的模型对图像进行分类， 得到图像所属的语义类别。 2.根据权利要求1所述的方法， 其特 征在于， 所述空间权 重的计算公式包括： 其中， 为空间权重， 表示在分组i内的各个像素点与当前分组语义信息的相似度， 上标u表示一元长连接关系， i＝1， 2， ...， G， 为实数集， H和W分别是特 征X的高度和宽度； σ( )表示Sigmoid激活函数， 用以将权重值控制在0 ‑1的范围内； normalize()函数为标准 化模块的应用， 1x1为1x1卷积。 3.根据权利要求2所述的方法， 其特 征在于， 所述 一元长连接特 征的计算公式包括： 式中， 为一元长连接特征， C为特征X的通道数， G为G个组， i＝1， 2， ...， G。 4.根据权利要求3所述的方法， 其特征在于， 所述将当前组的所述一元长链接特征， 利 用一个轻量卷积得到一个语义聚集权重， 根据所述语义聚集权重针对当前组进行全局加权 池化， 得到当前组的语义信息， 具体包括： 将当前组的所述一元长链接特征， 利用一个轻量的1x1卷积得到一个语义聚集权重 根据所述语义聚集权重 针对当前组进行全局加权池化， 得到当前 组的语义信息 公式如下：权　利　要　求　书 1/3 页 2 CN 114492659 A 2式中σs()为沿着整个空间维度H和W的softmax函数。 5.根据权利要求 4所述的方法， 其特 征在于， 所述语义分配权 重的计算公式包括： 式中， 表示语义分配权 重， 6.根据权利要求5所述的方法， 其特 征在于， 所述 点对长连接特 征的计算公式包括： 式中， 表示点对长连接特 征， 7.根据权利要求6所述的方法， 其特征在于， 所述将当前组 的所述一元长连接特征和当 前组的所述 点对长连接特 征融合， 得到当前组的完整特 征， 具体包括： 采用元素级加法将当前组的所述一元长连接特征和当前组的所述点对长连接特征相 加， 计算公式如下： 其中， 是一个可学习的权重参数， 用来决定每一个分组对点对长连接关系 的需求度， 并初始化为0值支持早期的模型学习， 即为通过轻量级Non ‑Local增强的当前 组的完整特 征。 8.根据权利要求1所述的方法， 其特征在于， 所述方法还包括： 对所述空间权重、 所述语 义聚集权 重和所述语义分配权 重均进行 标准化。 9.根据权利要求8所述的方法， 其特征在于， 所述对所述空间权重、 所述语义聚集权重 和所述语义分配权 重均进行 标准化， 具体包括： 针对权重特征， 在空间维度 上进行标准化， 并应用带有可学习参数γ和β 的仿射变换对 标准化后的值进行处理， 得到恒等变换值， 所述权重特征包括： 所述空间权重、 所述语义聚 集权重和所述语义分配权 重； 其中， 进行 所述标准 化的公式包括：权　利　要　求　书 2/3 页 3 CN 114492659 A 3