(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211172947.1 (22)申请日 2022.09.26 (71)申请人 深圳市中航世星科技有限公司 地址 518000 广东省深圳市南 山区西丽 街 道松坪山社区松坪山新东路1号清华 信息港A座6楼6 03室 (72)发明人 钟成斌　阳树和　王立国　徐洪刚　 王晶　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 周翀 (51)Int.Cl. G06V 10/80(2022.01) G06V 10/56(2022.01) (54)发明名称 广角微光红外图像融合的显示方法、 装置、 设备和介质 (57)摘要 本申请实施例提供一种广角 微光红外图像 融合的显示方法、 装置、 设备和介质， 涉及图像处 理技术领域。 通过广角镜头采集红外图像； 通过 广角镜头采集微光图像； 将所述红外图像和所述 微光图像进行图像融合处理， 得到目标融合图 像； 对所述目标融合图像进行合并处理， 得到融 合视频； 对所述融合视频进行截取处理， 得到候 选显示视频图像； 对所述候选显示视频图像进行 畸变校正处理， 得到目标显示视频图像， 并将所 述目标显示视频图像进行显示。 本申请实施例通 过红外图像和微光图像的图像融合提高显示视 频图像的清晰度。 通过广角镜头采集红外图像和 微光图像， 增加了观察视角， 而后通过畸变校正 处理， 进一步提高了显示视频图像的清晰度。 权利要求书3页 说明书16页 附图5页 CN 115439723 A 2022.12.06 CN 115439723 A 1.一种广角微 光红外图像融合的显示方法， 其特 征在于， 所述方法包括： 通过广角镜 头采集红外图像； 通过广角镜 头采集微光图像； 将所述红外图像和所述 微光图像进行图像融合处 理， 得到目标融合图像； 对所述目标融合图像进行合并处 理， 得到融合视频； 对所述融合视频进行截取处 理， 得到候选 显示视频图像； 对所述候选显示视频图像进行畸变校正处理， 得到目标显示视频图像， 并将所述目标 显示视频图像进行显示。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述红外图像和所述微光图像进行 图像融合处 理， 得到目标融合图像， 包括： 对每一所述红外图像进行两尺度分解， 得到红外基础特 征图像和红外细节特 征图像； 对每一所述 微光图像进行两尺度分解， 得到微 光基础特 征图像和微 光细节特 征图像； 对所述红外基础特征图像和所述微光基础特征图像进行求和平均处理， 得到融合基础 特征图像； 对所述红外细节特征图像和所述微光细节特征图像进行加权求和处理， 得到融合细节 特征图像； 对所述融合基础特征图像和所述融合细节特征图像进行特征融合处理， 得到目标融合 图像。 3.根据权利要求1所述的方法， 其特征在于， 所述目标融合图像为灰度图像， 在所述将 所述红外图像和所述微光图像进行图像融合处理， 得到目标融合图像之后， 所述方法还包 括： 获取所述目标融合图像的像素值， 得到原 始灰度值； 根据所述原始灰度值在预设的红色曲线查找表进行红色值查找， 得到校正红色值； 其 中， 所述红色曲线查找 表包括所述原 始灰度值和所述校正红色值的匹对信息； 根据所述原始灰度值在预设的绿色曲线查找表进行绿色值查找， 得到校正绿色值； 其 中， 所述绿色曲线查找 表包括所述原 始灰度值和所述校正绿色值的匹对信息； 根据所述原始灰度值在预设的蓝色曲线查找表进行蓝色值查找， 得到校正蓝色值； 其 中， 所述蓝色曲线查找 表包括所述原 始灰度值和所述校正蓝色值的匹对信息； 根据所述校正红色值、 所述校正绿色值和所述校正蓝色值进行像素合成， 得到目标彩 色值； 根据所述目标彩色值将所述目标融合图像中的所述原始灰度值进行替换处理， 得到更 新后的所述目标融合图像。 4.根据权利要求1所述的方法， 其特征在于， 在所述将所述红外图像和所述微光图像进 行图像融合处 理， 得到目标融合图像之前， 所述方法还 包括： 获取所述红外图像的像素值， 得到原 始红外像素值； 根据所述原始 红外像素值在预设的像素校正查找表进行像素值查找， 得到校正红外像 素值； 其中， 所述像素 校正查找表包括原 始像素值和校正像素值的匹对信息； 根据所述校正红外像素值将所述红外图像中的所述原始 红外像素值进行替换处理， 得 到更新后的所述红外图像；权　利　要　求　书 1/3 页 2 CN 115439723 A 2获取所述微光图像的像素值， 得到原 始微光像素值； 根据所述原始微光像素值在所述像素校正查找表进行像素值查找， 得到校正微光像素 值； 根据所述校正微光像素值将所述微光图像中的所述原始微光像素值进行替换处理， 得 到更新后的所述 微光图像。 5.根据权利要求4所述的方法， 其特征在于， 在所述根据 所述原始红外像素值在预设的 像素校正查找表进行像素值 查找， 得到校正红外像素值之前， 所述方法还 包括： 创建所述像素 校正查找表， 具体包括： 获取原始像素值； 其中， 任意两个所述原 始像素值互不相同； 对每一所述原始像素值进行校正计算， 得到校正像素值； 所述校正计算包括归一化计 算、 预补偿计算、 反归一 化计算； 根据所述原 始像素值和所述校正像素值之间的匹对信息得到所述像素 校正查找表。 6.根据权利要求1至5任一项所述的方法， 其特征在于， 所述对所述融合视频进行截取 处理， 得到候选 显示视频图像， 包括： 获取姿态信息， 所述姿态信息包括当前角度参数； 根据所述当前角度参数确定位置偏移量； 以所述位置偏移量为截取中心， 对所述融合视频以预设的截取视角进行截取处理， 得 到候选显示视频图像。 7.根据权利要求6所述的方法， 其特征在于， 所述对所述候选显示视频图像进行畸变校 正处理， 得到目标显示视频图像， 包括： 根据所述位置偏移量在预设的畸变校正查找表进行像素值查找， 得到目标畸变校正像 素值； 根据所述目标畸变校正像素值对所述候选显示视频图像的像素值进行替换处理， 得到 目标显示视频图像； 其中， 创建所述畸变校正 查找表， 具体包括： 获取所述融合视频的分辨 率， 得到原 始分辨率； 获取所述广角镜 头的原始视角； 根据所述原始分辨率、 所述截取视角和所述原始视角进行分辨率计算， 得到目标分辨 率； 其中， 所述目标分辨 率小于所述原 始分辨率； 根据所述原始分辨率、 所述截取视角和所述当前角度参数进行偏移量计算， 得到目标 偏移量； 以所述目标偏移量为划分中心， 根据所述目标分辨率对所述融合视频进行图像划分， 得到划分图像； 其中， 所述划分图像的分辨 率为所述目标分辨 率； 获取所述划分图像的像素值， 得到初始划分像素值； 对所述初始划分像素值进行畸变校正， 得到所述划分图像的目标畸变校正像素值； 根据所述目标偏移量和所述目标畸变校正像素值之间的匹对信息得到所述畸变校正 查找表。 8.一种广角微 光红外图像融合的显示装置， 其特 征在于， 所述装置包括： 处理器、 鱼眼镜 头的红外相机、 鱼眼镜 头的微光相机、 姿态传感器和显示器， 其中，权　利　要　求　书 2/3 页 3 CN 115439723 A 3