(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210699748.X (22)申请日 2022.06.20 (71)申请人 北京航空航天大 学 地址 100191 北京市海淀区学院路37号 (72)发明人 邓欣　张雨童　蒋铼　李胜曦　 徐迈　 (74)专利代理 机构 北京开阳星知识产权代理有 限公司 1 1710 专利代理师 张子青 (51)Int.Cl. H04N 5/232(2006.01) H04N 5/355(2011.01) H04N 5/359(2011.01) H04N 5/235(2006.01) (54)发明名称 高动态范围图像生成方法、 装置、 设备及可 读存储介质 (57)摘要 本公开涉及一种高动态范围图像生成方法、 装置、 设备及可读存储介质。 相较于现有技术， 本 公开实施例不需要真值图像的参与， 降低高动态 范围图像重建的难度， 通过提取低动态范围图像 的浅层特征， 对浅层特征与运动掩膜进行特征联 结， 得到每组的联结特征， 进 一步， 对每组的联结 特征以及三张初始 图像中包括的参考图像对应 的浅层特征进行聚合处理， 得到待重建图像的聚 合特征， 通过预训练的局部模型对低动态范围图 像的局部信息进行整合， 保留图像细节， 并通过 预训练的全局模型探索全局的文本信息来去除 运动产生的伪影， 可以使生 成的高动态范围图像 与低动态范围图像的联系更加紧密， 进而提升了 生成的高动态范围图像的效果， 从而提升用户体 验。 权利要求书2页 说明书15页 附图4页 CN 115103118 A 2022.09.23 CN 115103118 A 1.一种高动态范围图像生成方法， 其特 征在于， 包括： 对输入的三张初始图像和两张潜在图像进行特征提取， 得到每张图像分别对应的浅层 特征； 基于待重建图像的曝光度将所述每张图像分别对应的浅层特征分为两组， 对每组的浅 层特征以及对应的运动掩膜进行 特征联结， 得到所述每组的联 结特征； 对所述每组的联结特征以及所述三张初始图像中包括的参考图像对应的浅层特征进 行聚合处 理， 得到待重建图像的聚合特 征； 将所述待重建图像的聚合特征分别 输入到预训练 的局部模型和预训练 的全局模型中， 输出所述待重建图像的局部特 征和所述待重建图像的全局特 征； 根据所述待重建图像的局部特征和所述待重建图像的全局特征， 生成所述待重建图像 的高动态范围图像。 2.根据权利要求1所述的方法， 其特征在于， 所述对输入的三张初始图像和两张潜在图 像进行特征提取， 得到每张图像分别对应的浅层特 征之前， 所述方法还 包括： 基于所述 三张初始图像生成两张潜在图像。 3.根据权利要求2所述的方法， 其特征在于， 所述三张初始图像包括所述待重建图像的 高曝光度图像、 低曝光度图像和参考图像； 所述低曝光度图像的曝光度小于或等于预设第 一曝光度阈值， 所述高曝光度图像的曝光度大于或等于预设第二曝光度阈值， 所述参考图 像的曝光度大于所述预设第一曝光度阈值且小于所述预设第二曝光度阈值， 所述两张潜在 图像包括高曝光度潜在图像和低曝光度潜在图像； 相应的， 所述基于所述 三张初始图像生成两张潜在图像， 包括： 根据所述高曝光度图像和所述 参考图像生成所述高曝光度潜在图像； 根据所述低曝光度图像和所述 参考图像生成所述低曝光度潜在图像。 4.根据权利要求3所述的方法， 其特征在于， 所述基于待重建图像的曝光度将所述每张 图像分别对应的浅层特征分为两组， 对每组的浅层特征以及对应的运动掩膜进行特征联 结， 得到所述每组的联 结特征之前， 所述方法还 包括： 生成所述高曝光度图像和所述低曝光度图像各自对应的运动掩膜； 相应的， 基于待重建图像的曝光度将所述每张图像分别对应的浅层特征分为两组， 对 每组的浅层特 征以及对应的运动掩膜进行 特征联结， 得到所述每组的联 结特征， 包括： 基于待重建图像的曝光度将所述每张图像分别对应的浅层特征分为高曝光组图像的 浅层特征和低曝光组图像的浅层特 征； 对所述高曝光组图像的浅层特征以及所述高曝光度图像对应的运动掩膜进行特征联 结， 得到所述高曝光组图像的联 结特征； 对所述低曝光组图像的浅层特征以及所述低曝光度图像对应的运动掩膜进行特征联 结， 得到所述低曝光组图像的联 结特征。 5.根据权利要求1所述的方法， 其特征在于， 所述将所述待重建图像的聚合特征分别 输 入到预训练的局部模型和预训练的全局模型中， 输出所述待重 建图像的局部特征和所述待 重建图像的全局特 征， 包括； 通过预设第 一卷积层对所述待重建图像的聚合特征的通道进行压缩， 得到局部输入特 征， 对所述局部 输入特征进行多个层次的特 征聚合， 得到所述待重建图像的局部特 征；权　利　要　求　书 1/2 页 2 CN 115103118 A 2通过预设第 二卷积层对所述待重建图像的聚合特征的通道进行压缩， 得到全局输入特 征， 对所述全局输入特 征进行多个层次的特 征聚合， 得到所述待重建图像的全局特 征。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述待重建图像的局部特征和所 述待重建图像的全局特 征， 生成所述待重建图像的高动态范围图像， 包括： 对所述待重建图像的局部特征、 所述待重建图像的全局特征以及所述参考图像对应的 浅层特征进行特征联结， 得到待重建图像的重建特 征； 根据所述待重建图像的重建特 征生成所述待重建图像的高动态范围图像。 7.根据权利要求1所述的方法， 其特征在于， 所述根据所述待重建图像的局部特征和所 述待重建图像的全局特 征， 生成所述待重建图像的高动态范围图像之后， 所述方法还 包括： 通过损失函数对生成的所述待重建图像的高动态范围图像进行处理， 得到所述待重建 图像的目标高动态范围图像。 8.一种高动态范围图像生成装置， 其特 征在于， 包括： 第一得到模块， 用于对输入的三张初始图像和两张潜在图像进行特征提取， 得到每张 图像分别对应的浅层特 征； 第二得到模块， 用于基于待重建图像的曝光度将所述每张图像分别对应的浅层特征分 为两组， 对每组的浅层特 征以及对应的运动掩膜进行 特征联结， 得到所述每组的联 结特征； 第三得到模块， 用于对所述每组的联结特征以及所述三张初始图像中包括的参考图像 对应的浅层特 征进行聚合处 理， 得到待重建图像的聚合特 征； 输出模块， 用于将所述待重建图像的聚合特征分别输入到预训练 的局部模型和预训练 的全局模型中， 输出 所述待重建图像的局部特 征和所述待重建图像的全局特 征； 第一生成模块， 用于根据所述待重建图像的局部特征和所述待重建图像的全局特征， 生成所述待重建图像的高动态范围图像。 9.一种电子设备， 其特 征在于， 包括： 存储器； 处理器； 以及 计算机程序； 其中， 所述计算机程序存储在所述存储器中， 并被配置为由所述处理器执行以实现如 权利要求1 ‑7中任一所述的方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现如权利要求1 ‑7中任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115103118 A 3