(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210924523.X (22)申请日 2022.08.02 (71)申请人 上海人工智能创新中心 地址 200232 上海市徐汇区云锦路701号 37、 38层 (72)发明人 王毅　乔宇　 (74)专利代理 机构 上海智晟知识产权代理事务 所(特殊普通 合伙) 31313 专利代理师 李镝的 (51)Int.Cl. G06T 11/40(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/56(2022.01) G06V 10/762(2022.01)G06V 10/82(2022.01) (54)发明名称 基于色盘对抗网络的图像上色方法 (57)摘要 本发明涉及图像上色技术领域， 提出一种基 于色盘对抗网络的图像上色方法， 包括下列步 骤： 构造色盘对抗网络， 其中所述色盘对抗网络 包括调色板生成器 调色板分配生成器 和 颜色鉴别器D； 向所述色盘对抗网络中输入灰度 图像L； 由所述调色板生成器 以及所述调色板 分配生成器 以生成估计色图 根据所述灰 度图像L以及所述估计 色图 生成输出图像 以 及由所述颜色鉴别器D判断所述输出图像 的真 实性。 权利要求书3页 说明书11页 附图3页 CN 115272527 A 2022.11.01 CN 115272527 A 1.一种基于色盘对抗网络的图像上色方法， 其特 征在于， 包括下列步骤： 构造色盘对抗网络， 其中所述色盘对抗网络包括调色板生成器 调色板分配生成器 和颜色鉴别器D； 向所述色盘对抗网络中输入灰度图像L； 由所述调色板生成器 以及所述调色板分配生成器 以生成估计色图 根据所述灰度图像L以及所述估计色图 生成输出彩色图像 以及由所述颜色鉴别器D 判断所述输出图像 的真实性。 2.根据权利要求1所述的基于色盘对抗网络的图像上色方法， 其特征在于， 由所述调色 板生成器 根据所述灰度图像L 生成调色板直方图 表示为下式： 其中， 调色板直方图 表示表示调色板概率， 和 表示CIE Lab颜色空间中的a轴 和b轴； 以及 由所述调色板分配生成器 根据所述调色板直方图 以及潜在代码z生成CIE  Lab颜 色空间中的a值和b值， 表示 为下式： 3.根据权利要求2所述的基于色盘对抗网络的图像上色方法， 其特征在于， 所述调色板 分配生成器 包括残差块、 调色板归一化层以及色度注意模块， 其中由所述调色板归一化 层对输入特 征进行归一 化并且进行由 参数化的仿射变换， g( ·)表示全连接层。 4.根据权利要求3所述的基于色盘对抗网络的图像上色方法， 其特征在于， 所述色度注 意模块包括全局交互模块以及局部描述模块， 其中由所述色度 注意模块输入特征图F、 高层 特征图S和灰度图像L， 通过所述全局交互模块执行全局交互操作以生成第一特征图Fg， 通 过所述局部描述模块执行局部描述操作以生成第二特征图Fl， 将第一特征图Fg和所述第二 特征图Fl融合以生成特征图残差F ′， 并且将所述特征图残差F ′添加回所述特征图F， 表示为 下式： 其中f(·)表示非线性融合操作、 表示通道维度拼接操作、 CAg表示全局交互操作、 CAl 表示局部描述操作。 5.根据权利要求4所述的基于色盘对抗网络的图像上色方法， 其特征在于， 所述全局交 互操作包括使用其它区域特征点的加权在所述特征图F中重建每个区域特征点， 并根据区 域特征点之间的语义相似性计算局部 权重， 表示为下式：权　利　要　求　书 1/3 页 2 CN 115272527 A 2其中p和q分别表示在所述特征图F内以像素位置p和q为中心的补丁， SK和SQ表示使用卷 积从所述高层特 征图S转换而来的特 征图； 以及 所述局部描述操作包括通过局部仿射变换{A， B}将所述灰度图像L映射到对应的ab特 征地图， 表示 为下式： Fl＝A⊙L↓+B 其中⊙表示逐元素乘法运算符、 ↓表示下采样操作、 Ψ表示可学习变换， cov( ·，·)表 示局部协方差、 var( ·)表示计算给定特征图的局部方差、 和 分别表示以均值滤波器对F 和L的平滑处理， ∈表示 正数参数。 6.根据权利要求5所述的基于色盘对抗网络的图像上色方法， 其特征在于， 进行调色板 优化， 其中将所述调色板直方图 进行核加权和表示， 表示 为下式： 其中Ca(x)和Cb(x)分别表示a和b通道中像素x的值， k表示核函数， σ 表示控制相邻bin的 平滑度的参数； 以及 进行调色板正则化， 其中通过最大化调 色板直方图 的熵 以增加颜色多样性， 表 示为下式 7.根据权利要求6所述的基于色盘对抗网络的图像上色方法， 其特征在于， 所述颜色鉴 别器D将输出图像 转换为一维特征g∈R256×1并且通过内积将所述一维特征与调色板融合 并且计算输出图像 的真实性 表示为下式： 权　利　要　求　书 2/3 页 3 CN 115272527 A 3