(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210446873.X (22)申请日 2022.04.26 (71)申请人 上海大学 地址 200436 上海市宝山区上 大路99号 (72)发明人 胡越黎　张海坤　 (74)专利代理 机构 上海震亚律师事务所 3140 3 专利代理师 李秀兰 (51)Int.Cl. G06T 3/40(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/44(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) (54)发明名称 一种基于深度神经网络的红外图像超分辨 率重建方法 (57)摘要 本发明公开了一种基于深度神经网络的红 外图像超分辨率重建方法， 涉及红外图像处理技 术领域， 具体包括： 使用已有的高分辨率红外图 像数据集， 利用双三次插值算法分别生成两倍、 三倍和四倍尺度下采样的低分辨率红外图像ILR 作为训练集。 然后， 对训练数据集依照设定的概 率随机选择以下一种方法进行数据增强： Cutout、 CutM ix、 Mixup、 CutM ixup、 RGB  permute、 Blend和CutBlur。 随后， 数据增强后的低分辨率 红外图像分别经过低频特征抽取模块LFE、 高频 特征抽取模 块HFE和特征重构 模块FR处理。 最后， 计算生成的超分辨率红外图像ISR与真实高分辨 率红外图像IHR的L1损失， 利用反向传播算法更新 网络权重， 重复以上步骤直至达到最大迭代次数 完成训练。 本发 明所述方法为红外图像超分辨率 重建提供新方向。 权利要求书2页 说明书5页 附图8页 CN 114913069 A 2022.08.16 CN 114913069 A 1.一种基于深度神经网络的红外图像超分辨 率重建方法， 其特 征在于， 包括以下步骤： S1)对分辨率为640 ×480的红外图像IHR进行双三次插值算法分别得到对应下采样因子 s＝2、 s＝3和s＝ 4的低分辨 率红外图像 作为训练数据集； S2)对于不同尺度的红外图像超分辨率网络， 将输入网络的训练集 依照预设的概率 随机选择以下一种数据增强方法进行图像增强： Cutout、 CutMix、 Mixup、 CutMixup、 RGB   Permute、 Blend和CutBlur， 得到增强后的红外图像 S3)将所述数据增强后的低分辨率红外图像 通过低频 特征抽取模块提取图像的浅层 特征， 得到ILFE， 其中， 所述低频特征抽取模块由四个卷积层构成， 每个所述卷积层的卷积核 大小分别为7 ×7、 5×5、 3×3、 1×1； S4)所述低频特征抽取后的特征图ILFE连续通过八组高频特征抽取模块用于提取图像 的深层次特 征， 得到IHFE； 其中， 所述高频 特征抽取模块由残差块和注意力块组成； S5)经过所述高频特征抽取后的特征图IHFE通过特征重构模块， 得到最终的输出特征图 ISR； S6)计算ILR和ISR的L1损失， 通过反向传播算法更新网络参数直至达到预设的最大迭代 次数， 完成网络训练。 2.根据权利要求1所述的基于深度神经网络的红外图像超分辨率重建方法， 其特征在 于， 所述步骤S1中得到所述低分辨 率图像 的过程表述 为： 其中， FBicubic(·)表示双三次下采样 操作。 3.根据权利要求1所述的基于深度神经网络的红外图像超分辨率重建方法， 其特征在 于， 所述步骤S2得到增强后的红外图像 的过程表述 为： 其中， FAugmentati on(·)表示所选择的数据增强操作。 4.根据权利要求1所述的基于深度神经网络的红外图像超分辨率重建方法， 其特征在 于， 所述步骤S 3所述低频特征抽取模块的特征通道数分别为8、 16、 32和64， 所述低频特征抽 取的过程表述 为： 其中， 表示卷积核大小为 i×i的卷积操作。 5.根据权利要求1所述的基于深度神经网络的红外图像超分辨率重建方法， 其特征在 于， 所述步骤S4中每两组所述残差块和所述注 意力块的输出与所述高频特征提取模块的输 入ILFE在通道维度相连接后， 通过一个卷积核大小为 1×1， 通道数为64的卷积层， 其中， 所述 残差块由7 ×7、 5×5、 3×3、 1×1四个不同尺 寸的卷积核并行连接并与输入在通道维度相连 接后通过一个通道数为64的1 ×1卷积层组成； 同时， 每个分支在两个卷积层中间连续插入 两个深度可分离卷积层， 所述注意力块由串联的通道注意力模块和空间注意力模块及残差 块连接组成， 以上 过程表述 为：权　利　要　求　书 1/2 页 2 CN 114913069 A 2其中， 表示第i个残差注意力模块操作， FConcat(·)表示通道维度上的连接操作， FConv(·)为1×1卷积操作， 最终， 所述高频 特征抽取模块的输出为： 其中， FUS(·)为上采样 操作。 6.根据权利要求1所述的基于深度神经网络的红外图像超分辨率重建方法， 其特征在 于， 所述步骤S5所述特征重构模块由四个卷积核大小均为1 ×1的卷积层构成， 其特征图数 量分别为64、 32、 16、 8和3， 其中， 所述低频特征抽取模块中的每个卷积层输出通道数与特征 重构模块中输出通道数相同的特征图， 通 过FUS(·)操作后与所述特征重构模块中的每个卷 积层的输出在通道维度上 连接， 以上 过程整体表示 为： IFR＝FFR(IHFE) 其中， FFR(·)表示特征重构操作， 最终的超分辨 率重建结果表示 为： ISR＝FUS(ILR)+IFR。权　利　要　求　书 2/2 页 3 CN 114913069 A 3