(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210267898.3 (22)申请日 2022.03.18 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 张雅荔　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李素兰 (51)Int.Cl. G06T 5/00(2006.01) G06T 3/40(2006.01) G06T 7/13(2017.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于注意引导和多尺度特征融合的低照度 图像增强方法 (57)摘要 本发明公开了一种基于注意引导和多尺度 特征融合的低照度图像增强方法， 步骤包括： 1) 数据集构建， 选择在模拟低照度环 境合成测试集 和真实环 境下拍摄的低照度图像数据集； 2)对图 像数据进行预处理； 3)构建特征提取网络； 5)构 建特征融合网络； 5)设计可解释性的注意力损失 引导网络训练； 6)后处理， 输出增强后的高分辨 率图像。 与现有技术相比， 本发明可以更好的恢 复图像细节信息， 提升图像亮度和对比度， 主观 视觉和客观图像质量评价指标都得到改善 。 权利要求书2页 说明书4页 附图5页 CN 114596233 A 2022.06.07 CN 114596233 A 1.一种基于注意引导与多尺度特征融合的低照度图像增强方法， 其特征在于， 该方法 包括以下步骤： 步骤1、 构建数据集， 该数据集包括大量的模拟低照度环境合成的测试集和真实场景下 拍摄的低照度图像数据集SID， 构成数据集的原始图像为Bayer  Raw格式图像； 将该数据集 作为训练数据； 步骤2、 对图像数据做预处 理， 包括(1)降低维度； (2)去除黑电平； (3)图像系数放大； 步骤3、 为数据集训练 目的构建特征提取网络， 采用五个stage组成特征提取网络， 用于 学习不同尺度下的特征信息， 每个stage由若干个引入密集连接的残差块组成， 其中： stage1和stage2分别包含两个引入密集连接的残差块， stage3、 stage4以及stage5分别包 含三个引入密集连接的残差块； 引入密集连接的残差块结构包括多个卷积 ‑激活函数层、 Concat操作层， 残差块之间以跳跃连接方式相互连接； Xi、 Xi+1分别表示第i个残差单元的输 入特征和输出特征， 所述引入密集连接的残差块将提取到的不同尺度的特征图输入下一步 骤； 所述Co ncat操作用于跨层连接， 直接在特 征图的维度信息上进行 特征融合； 步骤4、 构建包括多分辨率融合块和链式残差池化层的特征融合网络， 通过特征融合网 络实现以下处 理： ①通过残差块输入的不同尺度的特征图， 在特征融合网络内部形成短距离连接， 与特 征提取网络形成远距离连接； ②接着， 对不同尺度的特征图进行融合， 多分辨率融合块包括对每一个特征图设置的 两路依序1×1卷积、 3×3卷积、 上采样处理和加法器， 由两路将 每一个特征图上采样处理至 当前输入特 征图的尺寸大小， 然后通过加法器两 两相加， 实现了 两个尺度的特 征融合； ③最后， 将两个尺度融合后的特征送入链式残差池化层， 抽取特征图中的高层语义特 征， 通过建立5 ×5的池化层， 对不同尺度的特征信息进行整合， 再进行求和操作； 最终得到 充分包含浅层特征的细节信息和深层特征的语义信息的特征图， 实现各层级 特征图之 间的 融合； 步骤5、 设计可解释性的注意力损失函数， 引导网络训练： 根据Canny算子检测图像边缘得到包含图像边缘位置和细节信息的注意力图， 得到最 终损失函数L( θ )， 表达式如下： 其中， IL表示前向传播后低照度图像， IH表示高分辨率图像， N表示高分辨率图像的像素 数量， || ||1表示损失函数L1范数， θ表示网络中的可 学习参数； 步骤6、 后处理， 具体包含： 将H/2 ×W/2尺寸的12个低分辨率RGB通道图转换为H ×W尺寸 的3个高分辨率RGB通道， 最后输出增强后的高分辨率图像， 其中H、 W分别表示RGB通道图的 高、 宽。 2.如权利要求1所述的基于注意引 导与多尺度特征融合的低照度图像增强方法， 其特 征在于， 提取多种尺度特征时， 对图像进 行多次下采样， 利用引入密集连接的残差块保证特 征图像的特 征信息在下采样过程中完整保存。 3.如权利要求1所述的基于注意引 导与多尺度特征融合的低照度图像增强方法， 其特 征在于， 所述步骤2中的降低维度， 具体包括： 根据Bayer阵列的像素点排列方式， 按照R ‑G‑权　利　要　求　书 1/2 页 2 CN 114596233 A 2B‑G将图像打包成四个通道， 同时维度变为原来的二分之一。权　利　要　求　书 2/2 页 3 CN 114596233 A 3