(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210236867.1 (22)申请日 2022.03.10 (71)申请人 西北工业大 学 地址 710000 陕西省西安市友谊西路127号 (72)发明人 耿杰　蒋楠　石皓文　蒋雯　 (74)专利代理 机构 深圳科润知识产权代理事务 所(普通合伙) 44724 专利代理师 刘强强 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01) G06V 10/46(2022.01) G06K 9/62(2022.01) (54)发明名称 基于图结构特征融合的小样本图像分类方 法 (57)摘要 本发明公开了一种基于图结构特征融合的 小样本图像分类方法， 包括： 步骤一、 获取小样本 图像数据集； 步骤二、 提取低层特征； 步骤三、 提 取深层特征； 步骤四、 将低层特征转化为低层图 结构特征， 将深层特征转化为深层图结构特征； 步骤五、 将低层图结构特征和深层图结构特征进 行特征融合； 步骤六、 将融合后的特征图作为图 卷积神经网络的输入， 获取分类结果。 本发明采 用HOG特征提取和和深度特征提取器并行的方式 进行特征提取， 并分别进行图结构特征转化， 然 后对图结构特征采用交叉并联特征融合的方式， 实现了数据增强层面的特征融合， 提高图像特征 的表达能力， 从而为小样本条件 下的图像分类提 供更多的特征表达， 提高小样 本条件下的图像分 类精度。 权利要求书3页 说明书8页 附图1页 CN 114612718 A 2022.06.10 CN 114612718 A 1.基于图结构特 征融合的小样本图像分类方法， 其特 征在于， 包括以下步骤： 步骤一、 获取小样本图像数据集； 步骤二、 对图像进行HOG特征提取， 得到图像的HOG特征， 即为低层特征， 低层特征记为 FL， 表示第i个图像的低层特征向量， 的维度为1 ×q， 1≤ i≤n； 步骤三、 采用深度特征提取器对图像进 行特征提取， 获得深层特征FH， 表示第i个图像的深层特 征向量， 的维度为1 ×q； 步骤四、 将图像特 征转化为图结构特 征； 步骤401、 将低层特征转化为低层图结构特征， 低层图结构特征包括低层节点表示的低 层图像特征和低层边对应的邻接矩阵， 低层节点表示每幅图像提取得到的低层特征， 低层 节点用 表示， 所有低层边由低层邻接矩阵ML(j,k)表示； 步骤402、 将深层特征转化为深层图结构特征， 深层图结构特征包括深层节点表示的深 层图像特征和深层边对应的邻接矩阵， 深层节点表示每幅图像提取得到的深层特征， 深层 节点用 表示， 所有深层边由深层邻接矩阵MH(j,k)表示； 步骤五、 将低层图结构特 征和深层图结构特 征进行特征融合； 步骤501、 基于低层图结构特征更新深层图结构特征， 不更新低层图结构特征： 融合后 的结果为： 表示融合后的第i个深层特征向量， 融合后 的深层特征向量 在原先基础 上， 增加了 其中 表示低层图 结构特征中第 j个节点的特征向量 与第i个节点和 第j个节点间的低层边特征ML(i， j)的乘 积， α表示深层融合率参数； 深层图结构特征的所有特征向量全部更新完成后， 再根据欧式 空间距离度量方法重新更新深层图结构特 征的邻接矩阵 步骤502、 融合更新后， 进行相似性度量， 若相似性θL小于θset， 则融合结束， 输出融合后 的特征图， 进入步骤六， 否则进入步骤503， 其中θL表示更新后的低层图结构特征与更新前 的低层图结构特 征的相似性， θset表示相似性阈值； 步骤503、 基于深层图结构特征更新低层图结构特征， 不更新深层图结构特征： 融合后 的结果为： 表示融合后的第i个低层特征向量， 融合后 的低层特征向量 是在原先基础 上， 增加了 其中 表 示深层图结构特征中第j个节点的特征向量 与第i个节点和第j个节点间的深层边特征 MH(i， j)的乘积， β 表示低层融合率参数； 低层图结构特征的所有特征向量全部更新完成后， 再根据欧式空间距离度量方法重新更新低层图结构特 征的邻接矩阵 权　利　要　求　书 1/3 页 2 CN 114612718 A 2步骤504、 融合更新后， 进行相似性度量， 若相似性θH小于θset， 则融合结束， 输出融合后 的特征图， 进入步骤六， 否则返回步骤501， 其中θH表示更新后的深层图结构特征与更新前 的深层图结构特 征的相似性； 步骤六、 将融合后的特 征图作为图卷积神经网络的输入， 获取分类结果。 2.按照权利要求1所述的基于图结构特征融合的小样本图像分类方法， 其特征在于， 步 骤二中HO G特征提取的具体过程包括： 步骤201、 对彩色图像进行归一 化处理； 步骤202、 将彩色图像分割为若干个小块， 每块由相邻的4个单元组成， 每个单元由8 ×8 像素组成， 块与块之间采用重叠两个单元 的形式进行滑动， 计算出图像中像素点的水平方 向梯度和垂直方向的梯度； 步骤203、 根据像素点的水平方向梯度和垂直方向的梯度计算像素点的梯度幅值和梯 度方向； 步骤204、 将每个梯度方向平均划分成16个无向的直方图通道， 统计所有像素点各个方 向的直方图特 征， 从而得到每 个单元的直方图特 征， 然后得到每块的直方图； 步骤205、 顺序级联每块的直方图特 征， 得到整幅图像的整体HO G特征。 3.按照权利要求1所述的基于图结构特征融合的小样本图像分类方法， 其特征在于： 深 度特征提取器 基于ResNet网络构建， 用于根据输入的图像获取其对应的深度特 征。 4.按照权利要求1所述的基于图结构特征融合的小样本图像分类方法， 其特征在于： 步 骤401中低层邻接矩阵的具体 计算过程包括： 步骤4011、 分别计算每个低层节点与其他低层节点之间的欧式距离dL‑jk， FjL(1,p)表示第j个图像的低层特征向量中第1行第p个 元素， 1≤j≤n， 1≤k≤n， 1≤p≤q， q为 不小于2的正整数； 步骤4012、 对每个低层节点与其他低层节点之间的欧式距离djk按照从小到大的顺序进 行排序， 得到低层顺序向量RjL； 步骤4013、 获取低层邻接矩阵ML(j,k)， index (RjL)表示低层顺序向量RjL的列维度， mL表示低层列维度设定阈值， 每个节点仅与低层顺序 向量RjL的前m个低层节点相连。 5.按照权利要求1所述的基于深度特征和深层特征融合的小样本图像分类方法， 其特 征在于： 步骤402中深层邻接矩阵的具体 计算过程包括： 步骤4021、 分别计算每个深层节点与其他深层节点之间的欧式距离dH‑jk， FjH(1,p)表示第j个图像的深层特征向量中第1行第p 个元素， 1≤j≤n， 1≤k≤n， 1≤p≤q， q为 不小于2的正整数； 步骤4022、 对每个深层节点与其他深层节点之间的欧式距离dH‑jk按照从小到大的顺序权　利　要　求　书 2/3 页 3 CN 114612718 A 3