(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210666001.4 (22)申请日 2022.06.14 (71)申请人 哈尔滨工业大 学 （深圳） 地址 518055 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 张海军　闫寒　 (74)专利代理 机构 深圳市迪斯卓 越专利代理事 务所(普通 合伙) 44443 专利代理师 闵华明 (51)Int.Cl. G06F 30/20(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于热力图引导的语义解缠的生成对 抗网络及其 服饰灵感设计方法 (57)摘要 公开了一种由热力图引导的语义解纠 缠生 成对抗网络及其服饰灵感设计方法， 属于生成对 抗模型及服饰 设计领域。 由热力图引导的语义解 纠缠生成对抗网络包括一个时尚服饰图像编码 器、 时尚服饰图像生成器、 时尚服饰图像判别器 和局部服饰图像判别网络； 时尚服饰图像编码器 用以捕捉不同输入时尚项目的最具区分性的特 征， 并将特征解缠结成两个关键因素， 即属性和 纹理； 时尚服饰图像生成器通过利用编码器编码 后的属性和纹理来生成混合风格的时尚服饰图 像； 时尚服饰图像判别器通过利用时尚服饰图像 生成器生 成的服饰判别生 成图像的真实性； 局部 服饰图像判别网络引入基于热力图的局部损失 来评估生成的时尚服饰图像纹理与输入时尚服 饰图像纹 理信息之间的视 觉语义匹配程度。 权利要求书3页 说明书6页 附图3页 CN 114970194 A 2022.08.30 CN 114970194 A 1.一种由热力图引导的语义解纠缠生成对抗网络， 由一个时尚服饰图像编码器、 一个 时尚服饰图像生成器、 一个时尚服饰图像判别器和局部服饰图像判别网络组成， 所述生成 对抗网络基于不匹配的数据对， 以无监督的方式学习来自源域的时尚服饰图像和目标域的 时尚服饰图像的风格的特征表示； 其特征在于， 所述时尚服饰图像编码器用以捕捉不同输 入时尚项目的最具区分性的特征， 并将所述最具区分性的特征解缠结成两个关键因素， 即 属性和纹理； 所述时尚服饰图像生成器通过所述属性和纹理来生成混合风格的时尚服饰图 像； 所述时尚服饰图像判别器通过利用时尚服饰图像生成器生成的服饰判别生成图像的真 实性； 所述局部服饰图像判别网络基于热力图的局部损失评估生成的时尚服饰图像纹理与 输入时尚服饰图像纹理信息之 间的视觉语义匹配程度； 所述热力图是指以高亮的形式显示 服饰含有纹 理和属性信息的区域。 2.如权利要求1所述的由热力图引导的语义解纠缠生成对抗网络， 其特征在于， 所述 时 尚服饰图像编 码器包括图像特征提取模块和图像语义解纠缠模块； 所述图像特征提取模块 用于将图像特征进行深度提取， 提取出有效的像素信息； 所述图像语义解纠缠模块用于将 图像解纠缠成为属性和纹 理， 以及产生用于 辅助信息的热力图。 3.如权利要求2所述的由热力图引导的语义解纠缠生成对抗网络， 其特征在于， 所述图 像特征提取模块和语义解纠缠模块包括图像下采样模块、 Resnet152中的前47个残差块、 用 于生成输入图像的热力图的 “求和”操作、 用于生成纹理的Resnet  152中的后3个残差块和 全局平均池化操作、 以及用于生成属 性的卷积操作； 所述图像语义解纠缠模块使用全局平 均池， 在被47个残差块卷积之后输出每个单元 的特征图的空间平均值， 利用全局最大池化 输出特征地图的空间最大值， 评估不同区域中图像的重要性； 所述时尚服饰图像编码器采 用基于语义解纠缠模块的编 码方式， 所述编码方式将输入的时尚服饰图像分解成独立的因 素以及产生热力图的辅助信息， 所述独立的因素指属性和纹 理。 4.如权利要求1至3 中任一权利要求所述的由热力图引导的语义解纠缠生成对抗网络， 其特征在于， 所述时尚服饰图像生 成器采用StyleGAN2的生 成器结构， 利用时尚服饰图像编 码器生成 的纹理和属性， 将属性代码作为StyleGAN2的常量输入、 纹理代码作为StyleGAN2 的每个的StyleBl ock的输入来 合成时尚服饰图像。 5.如权利要求1至3 中任一权利要求所述的由热力图引导的语义解纠缠生成对抗网络， 其特征在于， 所述时尚服饰图像判别器采用StyleGAN2的判别器架构， 用以判别生 成图像是 否具有相应的服饰 语义以及生成图像的真假 性。 6.如权利要求1至3 中任一权利要求所述的由热力图引导的语义解纠缠生成对抗网络， 其特征在于， 所述局部服饰图像判别网络由特征块编码器与特征块判别器组成； 所述特征 块编码器由五个下采样残差块、 一个用于信道放大的残差块和一个具有内核 大小的卷积层 组成； 所述残差块使用与时尚服饰图像判别器相同的配置； 所述特征块判别器采用 StyleGAN2的判别器架构， 利用特征块编码器采样的特征块计算联合特征 统计量， 以获得感 知相似性 值。 7.一种基于热力图引导的语义解缠生成对抗网络的服饰灵感设计方法， 所述生成对抗 网络基于不匹配的数据对， 以无监督的方式学习来自源域的时尚服饰图像和目标域的时尚 服饰图像的风格的特 征表示， 其特 征在于， 包括 步骤： A、 构建包 含时尚服饰图像数据集， 所述数据集包括 不同的时尚服饰种类、 纹 理和结构；权　利　要　求　书 1/3 页 2 CN 114970194 A 2B、 设计时尚服饰图像编码器， 所述时尚服饰图像编码器用以捕捉不同输入时尚项目的 最具区分性的特 征， 并将所述 最具区分性的特 征解缠结成两个关键因素， 即属性和纹 理； C、 设计时尚服饰图像生成器， 所述时尚服饰图像生成器通过所述属性和纹理生成混合 风格的时尚服饰图像； D、 设计时尚服饰图像判别器， 所述时尚服饰图像判别器通过利用时尚服饰图像生成器 生成的服饰判别生成图像的真实性； E、 设计局部服饰图像判别网络， 所述局部服饰图像判别网络基于热力图的局部损失评 估生成的时尚服饰图像纹理与输入时尚服饰图像纹理信息之间的视觉语义匹配程度； 所述 热力图指是以高亮的形式显示 服饰含有纹 理和属性信息的区域。 8.如权利要求7 所述的服饰灵感设计方法， 其特 征在于， 所述 步骤A包括： A1、 构建不同类别不同款式的服饰图像数据集， 综合服装电商的关键字搜索项， 包含类 别、 纹理、 款式、 颜色和细节信息， 将背景复杂的单品删去， 构建时尚单品数据； A2、 构建五个类别的时尚服饰图像用于训练和测试， 包括上衣， 下衣， 鞋， 包和帽子； 将 所述五类时尚服饰图像随机划分为 一个训练数据集和一个测试 数据集。 9.如权利要求7所述的服饰灵感设计方法， 其特征在于， 步骤B中， 所述 时尚服饰图像编 码器包括图像特征提取模块和图像语义解纠缠模块； 图像特征提取模块用于将图像特征进 行深度提取， 提取出有效的像素信息； 图像语义解纠缠模块用于将图像解纠缠成为属 性和 纹理， 以及产生用于辅助信息的热力图； 步骤C中， 所述时尚服饰图像生 成器采用StyleGA N2 的生成器结构， 利用时尚服饰图像编码 器生成的纹理和属性， 将属性代码作为StyleGA N2的 常量输入， 纹理代码作为StyleGAN2的每个的StyleBlock的输入来合 成时尚服饰图像； 步骤 D中， 所述时尚服饰图像判别器采用StyleGAN2的判别器架构， 用以判别生成图像是否具有 相应的服饰语义以及生成图像的真假性； 所述局部服饰图像判别网络由特征块编 码器与特 征块判别器组成； 步骤E中， 所述特征块编码器由五个下采样残差块、 一个用于信道放大 的 残差块和一个具有内核大小的卷积层组成； 所述特征块判别器采用StyleGAN2的判别器架 构， 利用特征块编码器采样的特征块计算这些随机特征 的联合特征统计量， 以获得这些特 征的感知相似性 值。 10.如权利要求7至9中任一权利要求所述的服饰灵感设计方法， 其特征在于， 所述步骤 B包括： B1、 所述时尚服饰 图像编码器包括图像特征提取模块和图像语义解纠缠模块两部分； 图像的特征提取模块包括图像下采样模块、 Resnet152中的前47个残差块， 用于将图像特征 进行深度提取， 提取 出主要的像素信息； B2、 所述图像语义解纠缠模块使用全局平均池， 以便在被47个残差块卷积之后输出每 个单元的特征图的空间平均值； 利用全局 最大池来输出特征地图的空间最大值； 通过将输 出层的权重投影到卷积特征图上， 旨在于评估不同区域中图像的重要性， 使输入的时尚服 饰图像分解成独立的因素， 即属性和纹 理， 以及产生热力图的辅助信息 。 11.如权利要求7至9中任一权利要求所述的服饰灵感设计方法， 其特征在于， 在步骤C 中， 所述时尚服饰图像生 成器采用StyleGA N2的生成器结构， 利用时尚服饰图像编码 器生成 的纹理和属性， 将属性作为StyleGAN2的常量输入， 纹理作为StyleGAN2的每个的 StyleBlock的输入来 合成时尚服饰图像。权　利　要　求　书 2/3 页 3 CN 114970194 A 3