(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210892683.0 (22)申请日 2022.07.27 (71)申请人 上海硬通网络科技有限公司 地址 200331 上海市嘉定区真南路4268号2 幢JT10639室 (72)发明人 王传鹏　李腾飞　张昕玥　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 杨义 (51)Int.Cl. G06T 13/40(2011.01) G06T 13/20(2011.01) G06N 3/08(2006.01) G06V 40/16(2022.01) G06V 10/82(2022.01)G06V 10/762(2022.01) G06V 20/40(2022.01) G06N 3/04(2006.01) H04N 5/262(2006.01) (54)发明名称 动画重构网络的训练及其图像重构、 视频重 构方法与设备 (57)摘要 本发明公开了一种动画重构网络的训练及 其图像重构、 视频重构方法与设备， 该方法包括： 获取由样 本游戏改编的样本动画， 样本动画中具 有多帧样 本图像数据； 从样本图像数据中提取第 一样本人脸数据； 若第一样本人脸数据属于具有 样本动画中风格的角色， 则将第一样本人脸数据 标记为第二样本人脸数据； 以第二样本人脸数据 作为人脸风格的来源训练第一生成对抗网络， 作 为人脸重构网络； 以样本图像数据作为场景风格 的来源训练第二生成对抗网络， 作为场景重构网 络； 将人脸重构网络与场景重构网络输出为动画 重构网络。 两个生成对抗网络可 以对人脸、 场景 进行不同程度的风格化、 实现不同变化偏向， 实 现了个性化的动画风格化。 权利要求书4页 说明书20页 附图6页 CN 115222858 A 2022.10.21 CN 115222858 A 1.一种动画重构网络的训练方法， 其特 征在于， 包括： 获取由样本游戏改编的样本动画， 所述样本动画中具有 多帧样本图像数据； 从所述样本图像数据中提取第一样本人脸数据； 若所述第一样本人脸数据属于具有所述样本动画中风格的角色， 则将所述第 一样本人 脸数据标记为第二样本人脸数据； 以所述第二样本人脸数据作为人脸风格的来源训练第 一生成对抗网络， 作为人脸重构 网络； 以所述样本图像数据作为场景风格的来源训练第二生成对抗网络， 作为场景重构网 络； 将所述人脸重构网络与所述场景重构网络 输出为动画重构网络 。 2.根据权利要求1所述的方法， 其特征在于， 所述从所述样本图像数据中提取第 一样本 人脸数据， 包括： 将所述样本动画切分为多个视频片段， 以使每 个所述视频片段中具有独立的场景； 在所述视频片段中抽取多帧所述样本图像数据； 在所述样本图像数据中进行 人脸检测， 获得第一样本人脸数据。 3.根据权利要求2所述的方法， 其特征在于， 所述从所述样本图像数据中提取第 一样本 人脸数据， 还 包括： 对所述第一样本人脸数据计算亮度； 滤除所述亮度位于预设的亮度范围之外的所述样本图像数据； 对所述第一样本人脸数据计算模糊度； 滤除所述模糊度大于或等于预设的模糊阈值的所述样本图像数据。 4.根据权利要求1所述的方法， 其特征在于， 所述若所述第 一样本人脸数据属于具有所 述样本动画中风格的角色， 则将所述第一样本人脸数据标记为第二样本人脸数据， 包括： 将所述第一样本人脸数据聚类至所述样本动画中的角色； 根据所述第一样本人脸数据在所述样本动画中的分布信息对所述角色统计指标 数据； 按照所述指标 数据对所述角色配置表示典型程度的分数； 按照所述分数在重要程度上对所述角色划分类型， 并将所述角色的所述第 一样本人脸 数据及所述类型发送至制作者； 若接收到所述制作者针对所述角色的选定操作， 则标记所述角色的所述第 一样本人脸 数据为第二样本人脸数据。 5.根据权利要求4所述的方法， 其特征在于， 所述将所述第 一样本人脸数据聚类至所述 样本动画中的角色， 包括： 从所述样本游戏的资料中查找所述样本动画中各个角色的名称； 在所述样本 图像数据中识别第三样本人脸数据、 字幕， 所述第三样本人脸数据为嘴唇 存在开合过程的所述第一样本人脸数据； 若在所述字幕中查找到所述名称， 则按照所述字幕表达的语义对所述第 三样本人脸数 据生成标志信息； 若所述标志信 息表示所述第 三样本人脸数据与 所述名称配对， 则允许将所述第 三样本 人脸数据聚类至同一所述名称的所述角色；权　利　要　求　书 1/4 页 2 CN 115222858 A 2若所述标志信 息表示所述第 三样本人脸数据与 所述名称不配对， 则 禁止将所述第 三样 本人脸数据聚类至同一所述名称的所述角色。 6.根据权利要求5所述的方法， 其特征在于， 所述按照所述字幕表达的语义对所述第 三 样本人脸数据生成标志信息， 包括： 在所述字幕中查找 表示自己的第一语义词、 表示 他人的第二语义词； 若查找到所述第 一语义词， 则对所述第 三样本人脸数据生成标志信 息为所述第 三样本 人脸数据与所述名称配对； 若查找到所述第 二语义词， 则对所述第 三样本人脸数据生成标志信 息为所述第 三样本 人脸数据与所述名称不配对。 7.根据权利要求4所述的方法， 其特征在于， 所述根据所述第 一样本人脸数据在所述样 本动画中的分布信息对所述角色统计指标 数据， 包括： 在所述样本动画中统计所述角色的所述第一样本人脸数据在算 术上的密度值； 统计每个所述角色的所述第一样本人脸数据在所述样本动画中出现的平均频次； 统计每个所述角色的所述第一样本人脸数据在所述样本动画中出现的平均概 率； 统计高频动画出现的占比， 所述高频动画为所述角色的所述第 一样本人脸数据的数量 大于预设的阈值的所述样本动画。 8.根据权利要求7所述的方法， 其特征在于， 所述按照所述指标数据对所述角色配置表 示典型程度的分数， 包括： 将所述密度值乘以预设的第一权 重， 获得第一调权值； 将所述平均频次乘以预设的第二权 重， 获得第二调权值； 将所述平均概 率乘以预设的第三权 重， 获得第三调权值； 将所述占比乘以预设的第四权 重， 获得第四调权值； 将所述第 一调权值、 所述第 二调权值、 所述第 三调权值与所述第四调权值相加， 获得所 述角色的、 表示典型程度的分数。 9.根据权利要求4所述的方法， 其特征在于， 所述按照所述分数在重要程度上对所述角 色划分类型， 包括： 确定第一典型范围、 第二典型范围、 第三典型范围， 所述第 一典型范围的数值大于所述 第二典型 范围的数值， 所述第二典型 范围的数值大于所述第三典型 范围的数值； 若所述分数在所述第一典型 范围内， 则确定所述角色的类型为主角； 若所述分数在所述第二典型 范围内， 则确定所述角色的类型为主 要配角； 若所述分数在所述第三典型 范围内， 则确定所述角色的类型为次要配角。 10.根据权利要求1所述的方法， 其特征在于， 在所述若所述第一样本人脸数据属于具 有所述样本动画中风格的角色， 则将所述第一样本人脸数据标记为第二样本人脸数据之 后， 所述方法还 包括： 对所述第二样本人脸数据执行数据增强操作， 其中， 所述数据增强操作包括如下的至 少一种： 在三维的空间中按照随机角度旋转所述第 二样本人脸数据， 将旋转之后的所述第 二样 本人脸数据投影至二维的平面； 随机对所述第二样本人脸数据进行裁 剪；权　利　要　求　书 2/4 页 3 CN 115222858 A 3