(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211054234.5 (22)申请日 2022.08.31 (71)申请人 浙江未来 技术研究院 （嘉兴） 地址 314000 浙江省嘉兴 市南湖区汇信路 152号 (72)发明人 夏晗　邵航　袁肖赟　高坤　 (74)专利代理 机构 北京华清迪源知识产权代理 有限公司 1 1577 专利代理师 孙志一 (51)Int.Cl. G06T 5/50(2006.01) G06T 3/40(2006.01) G06T 7/11(2017.01) G06T 7/60(2017.01) G06T 7/73(2017.01) (54)发明名称 一种基于自注意力机制的图像融合方法及 系统 (57)摘要 本发明公开了一种基于自注意力机制的图 像融合方法及系统， 所述方法包括： 获取全局场 景图像和多个局部细节图像， 并确定局部细 节图 像在所述全局场景图像中的位置关系， 根据所述 位置关系将所述全局场景图中与多个局部细节 图像相同位置的部分切割出来得到多个切割图 像； 构建并训练基于自注意力机制的图像融合模 型， 对所述局部细节图像和处理后的切割图像进 行图像融合， 得到融合的高分辨局部图像； 将得 到的所述高分辨局部图像与所述全局场景图像 进行拼接得到大场景高分辨全景图像。 通过采用 用 于 处 理 多 尺 度 大 场 景 数 据 的 ，基 于 Transformer框架的图像融合算法， 基于非结构 化多尺度的采集设备， 最终生 成全景的亿级像素 大场景图像 。 权利要求书2页 说明书6页 附图3页 CN 115330655 A 2022.11.11 CN 115330655 A 1.一种基于自注意力机制的图像融合方法， 其特 征在于， 所述方法包括： 获取全局场景图像和多个局部细节图像， 并确定局部细节图像在所述全局场景图像中 的位置关系， 根据所述位置 关系将所述全局场景图中与多个局部细节图像相同位置的部分 切割出来得到多个切割图像； 对所述切割图像进行处 理使其与局部细节图像具有相同的尺度； 构建并训练基于自注意力 机制的图像融合模型， 通过所述图像融合模型对所述局部细 节图像和处 理后的切割图像进行图像融合， 得到融合的高分辨局部图像； 将得到的所述高分辨局部图像与所述全局场景图像进行拼接得到大场景高分辨全景 图像。 2.根据权利要求1所述的一种基于自注意力 机制的图像融合方法， 其特征在于， 获取全 局场景图像和多个局部细节图像， 具体包括： 通过全局相机获取全局场景图像， 通过多个局部相机分别获取多个局部细节图像， 所 述全局相机的水平视场角为5 0°～60°， 所述局部相机的水平视场角10 °～15°。 3.根据权利要求2所述的一种基于自注意力 机制的图像融合方法， 其特征在于， 确定局 部细节图像在所述全局场景图像中的位置关系， 具体包括： 根据局部相机和全局相机的位姿关系， 初步判断局部相机图像在全局相机图像中的大 概位置， 并通过 特征匹配算法来进行适当的调整， 从而得到准确的相对位置 。 4.根据权利要求1所述的一种基于自注意力 机制的图像融合方法， 其特征在于， 对所述 切割图像进行处 理使其与局部细节图像具有相同的尺度， 具体包括： 对所述切割图像进行超分辨以及尺度变化使切割图像与局部细节图像的分辨 率相同。 5.根据权利要求1所述的一种基于自注意力 机制的图像融合方法， 其特征在于， 所述图 像融合模型包括编码模块和解码模块， 所述编码模块用于通过转移窗口注意力机制模块 Swin‑TransfomerBlock和块融合模块PatchMerge实现对分割图像和局部细节图像不同尺 度特征的提取， 并通过对分割图像和局部细节图像的特征图中相应位置取最大值的方式进 行融合， 最后逐级的连接 到解码模块中， 最终生成符合条件的高分辨 率图像。 6.根据权利要求5所述的一种基于自注意力 机制的图像融合方法， 其特征在于， 所述编 码模块具体用于通过patch  embeding层对输入的图像进行编码得到编码结果， 然后通过逐 层的SwinTransformerBlock模块对编码后的图像进行图像特征提取， 从而 得到图像不同尺 度的特征， 其中Swin  Transformer  Block模块包括归一化、 区域的注 意力机制、 图像矩阵的 偏移模块， 然后通过PatchMerge模块得到感受野更大的特征图， 实现对更高维度特征的提 取。 7.根据权利要求5所述的一种基于自注意力 机制的图像融合方法， 其特征在于， 所述解 码模块的核心为 块扩展模块Patc hExpanding， 用于实现对特 征图的上采样。 8.根据权利要求5所述的一种基于自注意力 机制的图像融合方法， 其特征在于， 所述编 码模块连接有分类模块， 所述分类模块为全连接神经网络， 利用ImageNet数据训练编码模 块； 设置输入图像为一张同时输出图像与输入图像相同， 训练解码模块； 使用实际数据微调 整个模型， 损失函数定义 为归一化互信息 。 9.根据权利要求1所述的一种基于自注意力 机制的图像融合方法， 其特征在于， 将得到 的所述高分辨局部图像与所述全局 场景图像进 行拼接得到大场景高分辨全 景图像， 具体包权　利　要　求　书 1/2 页 2 CN 115330655 A 2括： 对全局场景图像进行超分辨处理， 根据局部细节图像在所述全局场景图像中的位置关 系， 将处理后的全局图像中的部分替换为融合后的高分辨局部图像。 10.一种基于自注意力机制的图像融合系统， 其特 征在于， 所述系统包括： 图像采集与切割模块， 用于获取全局场景图像和多个局部细节图像， 并确定局部细节 图像在所述全局场景图像中的位置 关系， 根据所述位置 关系将所述全局场景图中与多个局 部细节图像相同位置的部分切割出来得到多个切割图像； 图像处理模块， 用于对所述切割图像进行处 理使其与局部细节图像具有相同的尺度； 图像融合模块， 用于构建并训练基于自注意力机制的图像融合模型， 通过所述图像融 合模型对所述局部细节图像和处理后的切割图像进行图像融合， 得到融合的高分辨局部图 像； 图像拼接模块， 用于将得到的所述高分辨局部图像与 所述全局场景图像进行拼接得到 大场景高分辨全景图像。权　利　要　求　书 2/2 页 3 CN 115330655 A 3