(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211066519.0 (22)申请日 2022.08.31 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 张堃博　黄雅淋　田雨　孙哲南　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 乔慧 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/40(2022.01) G06V 10/82(2022.01) (54)发明名称 偏振图像生成方法、 装置、 电子设备和可读 存储介质 (57)摘要 本发明提供一种偏振图像生成方法、 装置、 电子设备和可读存储介质， 涉及图像处理技术领 域， 方法包括： 获取待处理可见光图像； 将待处理 可见光图像输入至预先训练好的偏振图像生成 器中， 得到目标偏振图像； 偏振图像生成器基于 偏振图像训练集、 偏振损失函数以及光电场振动 损失函数训练得到； 其中， 偏振损失函数用于衡 量偏振图像生成器生成的预测偏振图像相较于 偏振图像训练集中的偏振样本图像的偏振损失； 光电场振动损失函数用于衡量偏振图像生成器 生成的预测偏振图像相较于偏振图像训练集中 的偏振样 本图像的光电场振动损失， 解决了现有 技术中由于偏振相机对拍摄条件比较苛刻导致 难以获得偏振图像的技 术问题。 权利要求书3页 说明书12页 附图5页 CN 115424327 A 2022.12.02 CN 115424327 A 1.一种偏振图像生成方法， 其特 征在于， 包括： 获取待处 理可见光图像； 将所述待处理可见光图像输入至预先训练好的偏振图像生成器中， 得到目标偏振图 像； 所述偏振图像生成器基于偏振图像训练集、 偏振损失函数以及光电场振动损失函数训 练得到； 其中， 所述偏振损失函数用于衡量偏振图像生成器生成的预测偏振图像相较于偏振图 像训练集中的偏振样本图像的偏振损失； 所述光电场振动损失函数用于衡量偏振图像生成器生成的预测偏振图像相较于偏振 图像训练集中的偏振样本图像的光电场振动损失。 2.根据权利要求1所述的偏振图像生成方法， 其特征在于， 所述将所述待处理可见光图 像输入至预 先训练好的偏振图像生成器中， 得到目标偏振图像， 包括： 将所述待处理可见光图像输入至所述偏振图像生成器中的偏振特征提取网络， 得到目 标偏振特征； 所述偏振特征提取网络基于所述偏振图像训练集提取的样本图像特征对预先 构建的初始特 征提取网络进行训练得到； 将所述目标偏振特征输入至所述偏振图像生成器中的偏振图像生成网络， 得到所述目 标偏振图像； 所述偏振图像生成网络基于所述偏振图像训练集、 所述偏振损失函数和所述 光电场振动损失函数对预 先构建的初始图像生成网络进行训练得到 。 3.根据权利要求1或2所述的偏振图像生成方法， 其特征在于， 获取偏振图像训练集的 步骤包括： 获取偏振相机采集的偏振图像数据， 所述偏振图像数据包括多个偏振角度所对应的偏 振图像； 所述偏振角度的数量大于或者 等于三个； 基于所述偏振图像数据和斯托克斯公式， 获取可见光样本 图像、 第一偏振差样本 图像 和第二偏振差样本图像； 基于所述可见光样本图像、 第 一偏振差样本图像以及第 二偏振差样本图像获取偏振度 样本图像； 基于所述可见光样本 图像、 第一偏振差样本 图像、 第二偏振差样本 图像和偏振度样本 图像， 得到所述偏振图像训练集。 4.根据权利要求3所述的偏振图像生成方法， 其特征在于， 训练所述偏振图像生成器中 的偏振特 征提取网络的步骤 包括： 获取偏振图像训练集； 所述偏振图像训练集包括可见光样本图像和多种偏振模态的偏 振样本图像， 所述偏振模态包括偏振差模态和偏振度模态； 所述偏振差模态对应第一偏振 差样本图像和第二偏振差样本图像； 所述偏振度模态对应偏振度样本图像； 将所述偏振图像训练集输入至预先构建的初始特征提取网络 中， 得到初始样本特征数 据， 所述初始样本特征数据包括可见光样本图像特征以及多种偏振模态的偏振样本图像特 征； 获取所述初始样本特征数据中的任意两种样本图像特征之间的欧式距离， 并获取所有 欧式距离对应的欧式距离之和； 基于最大化所述欧式距离之和的方向， 优化所述初始特征提取网络的网络参数， 并确 定优化后的当前 特征提取网络为所述偏振特 征提取网络 。权　利　要　求　书 1/3 页 2 CN 115424327 A 25.根据权利要求3所述的偏振图像生成方法， 其特征在于， 训练所述偏振图像生成器中 的偏振图像生成网络的步骤 包括： 将所述偏振图像训练集输入至所述偏振特征提取网络中， 得到目标样本特征数据， 所 述目标样本特征数据包括可见光样本图像特征以及多种偏振模态的偏振样本图像特征； 所 述偏振模态包括偏振差模态和偏振度模态； 所述偏振差模态对应第一偏振差样本图像和 第 二偏振差样本图像； 所述偏振度模态对应偏振度样本图像； 将所述目标样本特征数据输入至预先构建的初始图像生成网络中， 得到多种偏振模态 的预测偏振图像； 基于所述预测偏振图像、 所述偏振样本图像以及所述偏振损失函数获取偏振损失； 基于所述预测偏振图像、 所述偏振样本图像以及所述光电场振动损失函数获取光电场 振动损失； 基于所述偏振损失和所述光电场振动损失， 获取所述初始图像生成网络的图像生成损 失； 沿着最小化所述图像生成损 失的方向， 对所述初始图像生成网络进行优化， 并确定优 化后的当前图像生成网络为所述偏振图像生成网络 。 6.根据权利要求5所述的偏振图像生成方法， 其特征在于， 所述基于所述预测偏振图 像、 所述偏振样本图像以及所述偏振损失函数获取偏振损失， 包括： 将所述偏振样本图像输入至预先构建的偏振图像判别器中， 得到所述偏振样本图像对 应的第一图像判别结果； 将所述预测偏振图像输入至预先构建的偏振图像判别器中， 得到所述预测偏振图像对 应的第二图像判别结果； 基于所述偏振样本图像及其对应的第 一图像判别结果、 所述预测偏振图像及其对应的 第二图像判别结果， 获取 所述预测偏振图像相较于所述偏振样本图像的偏振损失。 7.根据权利要求5所述的偏振图像生成方法， 其特征在于， 所述基于所述预测偏振图 像、 所述偏振样本图像以及所述 光电场振动损失函数获取光电场振动损失， 包括： 基于傅里叶变换函数和所述偏振样本图像， 获取所述偏振样本图像对应的第 一光电场 振动数据； 基于傅里叶变换函数和所述预测偏振图像， 获取所述预测偏振图像对应的第 二光电场 振动数据； 基于所述第 一光电场振动数据和所述第 二光电场振动数据， 获取所述预测偏振图像相 较于所述偏振样本图像的光电场振动损失。 8.一种偏振图像生成装置， 其特 征在于， 包括： 图像获取模块， 用于获取待处 理可见光图像； 图像生成模块， 用于将所述待处理可见光图像输入至预先训练好的偏振图像生成器 中， 得到目标偏振图像； 所述偏振图像生成器基于偏振图像训练集、 偏振损失函数以及光电 场振动损失函数训练得到； 其中， 所述偏振损失函数用于衡量偏振图像生成器生成的预测 偏振图像相较于偏振图像训练集中的偏振样本图像的偏振损失； 所述光电场振动损失函数 用于衡量偏振图像生成器生成的预测偏振图像相 较于偏振图像训练集中的偏振样本图像 的光电场振动损失。权　利　要　求　书 2/3 页 3 CN 115424327 A 3