(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210290919.3 (22)申请日 2022.03.23 (71)申请人 西北工业大 学 地址 710072 陕西省西安市碑林区友谊西 路127号 (72)发明人 蒋晓悦　王众鹏　冯晓毅　夏召强　 韩逸飞　 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/46(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于双边特征金字塔网络与多尺度鉴别的 本质图像分解方法研究 (57)摘要 针对本质图像 分解任务， 本发 明提出了一种 并行局部分频选择的重构方法， 可 实现对反射图 和光照图的准确重构。 本质图像分解是一个欠约 束问题。 基于编解码网络的本质图像重构提供了 一个有效的解决方案， 但该方案的结果仍存在不 足， 因此， 需要对各个频段的信息做更加精准的 选择才能获得更加准确的分解结果。 本发明提出 的网络结构将两个并行的生成对抗网络作为主 体网络， 分别对反射图和光照图进行重构。 针对 生成网络， 本发 明提出了局部分频特征融合的策 略， 分别实现对高频反射特征和低频光照特征的 选择和保留。 同时， 本发明在鉴别器中加入了多 尺度的自适应组合模块， 对多尺度特征的贡献进 行自适应评估， 强化鉴别效果并提升生成效果。 进一步， 本发 明构建了多种损失函数来约束生成 结果并促进网络的训练。 本发明所提算法在多种 数据集上都表现优异。 在MPI ‑Sintel数据集中，本发明相比其他方法的最优结果的重构均方误 差降低了13.2 6％； 在ShapeNet数据集中， 本发明 相比其他方法的最优结果的重构均方误差降低 了26.09％。 权利要求书2页 说明书11页 附图8页 CN 114612727 A 2022.06.10 CN 114612727 A 1.本发明提出一种基于双边特征金字塔与多尺度鉴别的本质特征图像分解方法， 该方 法使用的网路结构主 要分为2个部分： 生成器网络和鉴别器网络 。 (1)生成器网络 本发明的生成器网络包含反射图生成器和光照图生成器。 反射图生成器和光照图生成 器在结构上只有在跳连接通道上有 所不同。 生 成器的主干网络采取U ‑Net网络结构为模板， 一共有5层， 每层卷积层对应的通道依次为16、 32、 64、 128和256。 对于跳连接通道， 本发明采 取上下对称的结构。 反射图生成器先从低频向高频计算中间特征， 再从高频向低频结合中 间特征计算输出特征。 光照图生成器先从高频向低频计算中间特征， 再从低频向高频结合 中间特征计算输出 特征。 本发明的生成器网络的损失函数如式(1)所示。 LG＝LGAN‑G+Lmse+Lcos+Lbf+Lfeat               (1) 其中， LGAN‑G表示固有损失函数， Lmse表示均方误差函数， Lcos表示余弦损失函数， Lfeat表 示特征损失函数。 固有损失函数LGAN‑G的计算公式如公式(2)所示： 其中， Wi表示第i层归一化权重参数， i表示网络层序号， fake_outputi表示输出图像为 假的概率， ones表示概率为1。 均方误差函数Lmse的计算公式如公式(3)所示： 其中， fake_imagei表示解码器的倒数第i层特征图的输出， true_imagei表示放缩i倍的 图像标签。 余弦损失函数Lcos的计算公式如公式(4)所示： 其中， fake_regioni表示生成图像的第i块区域， true_regioni表示生成图像的第i块区 域； 交叉双边滤波损失Lbf的计算公式如公式(5) ‑(7)所示： 其中， Lbf表示双边带滤波损失， bf表示双边带滤波， C表示标签图像， {A,S}分别表示反 射图和光照图， Jp表示双边滤波器的输出， Cp表示标签图像第p个像素的值， Np表示p像素以 及邻居像素的总和个数， Wp表示正规化权重， q表示p的邻居像素位置， N(p)表示第p个像素 的邻居像素位置集合， 表示空间高斯核， p表示第p个像素的位置， 表示范围高斯核， Cq表示邻居像素q的值； Lfeat的计算公式如公式(8)所示： 权　利　要　求　书 1/2 页 2 CN 114612727 A 2其中， l表示VGG网络的第l层， Fl表示第l层特征图的通道数， Hl表示第l层特征图的高 度， W表示第l层特 征图的宽度， 表示第l层的特 征激活值； (2)鉴别器网络 鉴别器由四层卷积神经网络组成； 在反射图生成器或光照图生成器进行训练时， 将反 射图生成器 或光照图生成器输出的反射图或光照图输入鉴别器， 鉴别器将输入的反射图或 光照图与标签图像进行对比， 输出反射图或光照图与标签图像一 致的概率； 反射图生成器与鉴别器组合用于训练反射图生成器。 光照图生成器与鉴别器组合用于 训练光照图生 成器。 本发 明使用MIT以及MPI数据集对生成器网络训练， 采用SGD优化方法对 网络参数进行更新， 当式1中的损失函数值最小时停止训练， 得到最终的训练好的网络。 训 练好的网络可以对输入图像进行本征分解， 得到最 合适的反射图像与光照图像。 定义鉴别器损失如公式(9)所示： 其中， L2表示l1损失， yi表示ground ‑truth图像， f(xi)表示超分辨 率后的图像。权　利　要　求　书 2/2 页 3 CN 114612727 A 3