(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221017801 1.3 (22)申请日 2022.02.25 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市太白南路2号 (72)发明人 白雪茹　毛宇航　周雪宁　刘潇丹　 周峰　 (74)专利代理 机构 陕西电子 工业专利中心 61205 专利代理师 陈宏社　王品华 (51)Int.Cl. G06V 20/13(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于多重融合深度神经网络的目标识别方 法 (57)摘要 本发明提出了一种基于多重融合深度神经 网络的目标识别方法， 主要解决现有技术中空间 目标识别准确度较低的技术问题， 实现步骤为： (1)获取训练样本集和测试样本集； (2)构建基于 多重融合深度神经网络的目标识别模型； (3)对 基于多重融合深度网络的目标识别模型进行迭 代训练； (4)获取目标ISAR图像和光学图像的识 别结果。 本发明通过将目标的ISAR图像与光学图 像进行多模态融合识别， 分别提取目标ISAR图像 与光学图像的基于通道注意力的融合特征与双 线性池化融合特征， 使网络能够提取更丰富的目 标特征信息、 提高特征拼接时对 特征的不同贡献 与重要性的关注度， 从而提高了对空间目标的识 别准确率。 权利要求书3页 说明书7页 附图1页 CN 114565856 A 2022.05.31 CN 114565856 A 1.一种基于多重 融合深度神经网络的ISAR图像与光学图像融合的目标识别方法， 其特 征在于， 包括如下步骤： (1)获取训练样本集R和 测试样本集E： 获取包括K个目标类别的S幅ISAR图像A＝{As|1≤s≤S}和S幅光学图像B＝{Bs|1≤s≤ S}， 并对每幅ISAR图像As和每幅光学图像Bs分别进行归一化， 然后对经过归一化后的每幅 ISAR图像和每幅光学图像中包含的目标进 行标注， 再将 M幅归一化ISAR图像、 光学图像及其 对应的标签作为训练样本集R， 将剩余的归一化ISAR图像和光学图像及其对应的标签作为 测试样本集E， 其中K≥3， S≥80 0， As、 Bs分别表示对同一目标以相同地面观测视角观 测的第s幅ISAR图像、 光学图像； (2)构建基于多重融合深度神经网络的目标识别模型H： 构建包括卷积特征提取网络和多重融合深度神经网络的目标识别模型H， 多重融合深 度神经网络包括双线性池化融合网络、 通道 注意力融合网络、 相加融合网络， 其中： 卷积特征提取网络包括并行排布的第一卷积特 征提取网络和第二卷积特 征提取网络； 双线性池化融合网络包括并行排布的第一双线性池化特征提取网络和第二双线性池 化特征提取网络， 以及与该两个双线性池化特 征提取网络 输出端连接的特 征融合层； 第一卷积特征提取网络的输出与第一双线性池化特征提取网络以及通道注意力融合 网络的输入端连接， 第二卷积特征提取网络的输出与第二双线性池化特征提取网络以及通 道注意力融合网络的输入端连接； 双线性池化融合网络和通道注意力融合网络的输出端与 相加融合网络的输入端连接； (3)对基于多重融合深度网络的目标识别模型H进行迭代训练： (3a)初始化迭代次数为t， 最大迭代次数T， T≥20， 第 t迭代的目标识别模型为Ht， Ht的权 值参数为ωt， 并令t＝1； (3b)将训练样本集R作为基于多重融合深度网络的目标识别模型为Ht的输入， 卷积特征 提取网络中的第一卷积特征提取网络对每个ISAR图像训练样本进行卷积特征提取， 得到R 对应的ISAR图像卷积特征集合， 同时第二卷积特征提取网络对每个光学图像训练样 本进行 卷积特征提取， 得到R对应的光学图像卷积特 征集合； (3c)多重融合深度神经网络对每个ISAR图像卷积特征与其对应的光学图像卷积特征 进行多重融合： (3c1)双线性池化融合网络中的第一双线性池化特征提取网络对每个ISAR图像卷积特 征进行双线性池化特征提取， 同时第二双线性池化特征提取网络对每个光学图像卷积特征 进行双线性池化特征提取， 特征融合层 对所提取的每ISAR图像的双 线性池化特征及其对应 的光学图像的双 线性池化特征进 行特征融合； 同时通道注 意力融合网络对每个ISAR图像卷 积特征及其对应的光学图像卷积特 征进行基于通道 注意力的特 征融合； (3c2)相加融合网络对双线性池化融合网络得到的每个双线性池化融合特征， 与其对 应的通道注意力融合网络得到的基于通道注意力的融合特征进行相加融合， 得到训练样本 集R中每个目标的预测标签y； (3d)采用交叉熵损失函数， 通过每个目标的预测标签y及其对应的真实标签y*计算Ht的权　利　要　求　书 1/3 页 2 CN 114565856 A 2损失值Lt， 并求取Lt对权值参数ωt的偏导 再采用梯度下降法， 通过 对权值参数ωt 进行更新； (3e)判断t≥T是否成立， 若是， 得到训练好的目标识别模型H*， 否则， 令t＝t+1， 并执行 步骤(3b)； (4)获取目标ISAR图像和光学图像的识别结果： 将测试样本集E作为训练好的目标识别模型H*的输入进行前向传播， 得到E中包含的所 有目标的预测标签， 每 个预测标签对应的目标即为识别结果。 2.根据权利要求1所述的基于多重 融合深度神经网络的ISAR图像与光学图像 融合的目 标识别方法， 其特 征在于， 步骤(2)中所述的目标识别模型H， 其中： 卷积特征提取网络， 其中的第 一卷积特征提取网络和第 二卷积特征提取网络均包括六 个网络层， 每个网络层包括顺次级联的卷积层、 批归一化层、 ReLU激活层和最大值池化层， 具体参数设置为： 第一网络层中的卷积层的卷积核大小为5 ×5个像素， 卷积核 数量为32个， 批归一化层的通道数为32， 最大值池化层的窗口大小为2 ×2个像素； 第二网络层和第三网 络层中的卷积层的卷积核大小为5 ×5个像素， 卷积核数量为64个， 批归一化层的通道数为 64， 最大值池化层的窗口大小为2 ×2个像素； 第四至六网络层中的卷积层的卷积核 大小为3 ×3个像素， 卷积核数量为128个， 批归一化层的通道数为 128， 最大值池化层的窗口大小为2 ×2个像素； 双线性池化融合网络， 其中的第 一双线性池化特征提取网络和第 二双线性池化特征提 取网络均包括 顺次连接的双线性池化层、 特 征归一化层； 通道注意力融合网络包括顺 次连接的特征通道拼接层和通道注意力单元； 通道注意力 单元包括并行排列的全局平均池化层和全局最大池化层， 以及与全局平均池化层和全局最 大池化层的输出顺次级 联的第一卷积层、 ReLU激活层、 第二卷积层、 Sigmoid激活层,其中全 局平均池化层与全局最大池化层的输出维度均为1 ×1， 第一卷积层包括16个卷积核， 卷积 核的大小为1 ×1， 第二卷积层包括25 6个卷积核， 卷积核的大小为1 ×1； 相加融合网络包括并行排布的第 一全连接网络和第 二全连接网络， 以及与第 一全连接 网络和第二全连接网络的输出顺次级 联的相加融合层、 Softmax层； 第一全 连接网络和第二 全连接网络均包括两层 全连接层， 第一层 全连接层神经元个数为 128个， 第二层 全连接层和 神经元个数为 4个。 3.根据权利要求2所述的基于多重 融合深度神经网络的ISAR图像与光学图像 融合的目 标识别方法， 其特征在于， 步骤(3c1)中所述的双线性池化融合网络中的第一双 线性池化特 征提取网络对每个ISAR图像卷积特征进 行双线性池化特征提取， 以及特征融合层 对所提取 的每ISAR图像的双线性池化特征及其对应的光学图像的双线性池化特征进 行特征融合， 其 中： 双线性池化融合网络中的第一双线性池化特征提取网络对每个ISAR图像卷积特征进 行双线性池化特征提取， 首先第一双 线性池化特征提取网络中的双线性池化层 对每个ISAR 图像的卷积特征f进行双线性池化， 输出结果为x， 然后特征归一化层对x进行归一化， 输出 结果为z：权　利　要　求　书 2/3 页 3 CN 114565856 A 3