(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210988057.1 (22)申请日 2022.08.17 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 齐勇刚　林峰印　苏国耀　 (74)专利代理 机构 北京金咨知识产权代理有限 公司 11612 专利代理师 薛海波 (51)Int.Cl. G06T 15/02(2011.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/762(2022.01) G06V 10/77(2022.01) (54)发明名称 序列化草图生 成与重建模型训练方法、 重建 方法及装置 (57)摘要 本发明提供一种序列化草图生成与重建模 型训练方法、 重建方法及装置， 包括： 获取手绘草 图数据集， 按照预设方法从残 缺手绘草图中选取 图节点， 采用基于时间的最近邻算法将各图节点 与其附近图节 点按照绘制笔划时序连接， 形成邻 接矩阵； 将得到的各图节点、 邻接矩阵和完整手 绘草图的矢量化时序数据作为样 本， 构建训练样 本集； 获取初始神经网络模型， 该模型包括依次 连接的编码器模块、 隐含层和解码器模块； 采用 训练样本集对初始神经网络进行训练， 构建重建 草图与完整手 绘草图之间的损失函数， 并根据损 失函数对初始神经网络模型的参数进行迭代， 最 终得到序列化草图生成与重建模 型。 本发明能实 现序列化残缺手绘草图的生成、 重建和修复。 权利要求书2页 说明书11页 附图3页 CN 115457183 A 2022.12.09 CN 115457183 A 1.一种序列化 草图生成与重建模型训练方法， 其特 征在于， 该 方法包括以下步骤： 获取手绘草图数据集， 所述手绘草图数据集包含多个数据条， 每个数据条包括单个残 缺手绘草图的矢量 化时序数据和其对应的完整手绘草图的矢量 化时序数据； 按照预设方法从残缺手绘草图的每一个笔画中选取第 一设定数量个图节点， 采用基于 时间的最近邻算法将各图节点与其附近第二设定数量个图节点按照残缺手绘草图绘制笔 画时序进行 连接， 形成邻接矩阵； 将所述手绘草图数据集中各数据条对应的各图节点、 所述邻 接矩阵和完整手绘草图的 矢量化时序数据作为样本， 构建训练样本集； 获取初始神经网络模型， 所述初始神经网络模型包括依次连接的编码器模块、 隐含层 和解码器模块； 其中， 所述编码器模块包括依 次连接的多个卷积层、 最大池化层、 批处理规 范层、 节点嵌入模块和多个全连接层； 所述解码 器模块为长短期记忆神经网络， 所述解码 器 模块后还连接高斯混合模型； 所述初始神经网络模型将单个样本中各图节点和所述邻接矩 阵输入所述编码器模块， 提取每个图节点的视觉特征向量， 根据各图节点的视觉特征向量 与对应的邻接矩阵执行特征传播得到图节点特征集合， 根据所述图节点特征集合和各图节 点权重计算图嵌入表达 向量， 将所述图嵌入表达 向量输入所述全连接层得到分布参数， 并 计算均值和方差； 由所述隐含层根据所述均值和方差重构标准正态分布并随机采样得到隐 藏层向量； 将所述隐含层向量输入所述解码 器模块， 得到每个笔画的分布参数； 利用所述高 斯混合模型对每个笔画的分布参数计算最大期 望， 得到构成重 建草图的各笔画偏移 量和前 后笔画连接状态， 以得到 重建草图； 采用所述训练样本集对所述初始神经网络进行训练， 构建所述重建草图与 所述完整手 绘草图之间的损失函数， 并根据所述损失函数对所述初始神经网络模型 的参数进行迭代， 最终得到序列化 草图生成与重建模型。 2.根据权利要求1所述的序列化草图生成与重建模型训练方法， 其特征在于， 所述残缺 手绘草图的矢量化时序数据包括构成对应残缺手绘草图的各笔画上的各采样点的采样顺 序、 横坐标、 纵坐标， 以及各采样点在所述残缺手绘草图生成过程中与前后采样点的连接状 态； 所述完整手绘草图的矢量化时序数据包括构成对应完整手绘草图的各笔画上的各采 样点的采样顺序、 横坐标、 纵坐标， 以及各采样点在所述完整手 绘草图生成过程中与前后采 样点的连接状态； 所述连接状态包括采用One  Hot编码表示的三种状态， 第一种表示当前采样点与下一 采样点是同一笔画中的相邻笔触， 第二种表示当前采样点为当前笔画的最后一个笔触， 第 三种表示当前采样点 为当前手绘草图的最后一个笔触。 3.根据权利要求2所述的序列化草图生成与重建模型训练方法， 其特征在于， 按照预设 方法从残缺手绘草图上选取图节点， 还 包括： 选用构成所述残缺手绘草图的各 笔画的起始点作为图节点； 和/或， 选用构成所述残缺手绘草图的各 笔画的第N个转 折点作为图节点。 4.根据权利要求1所述的序列化草图生成与重建模型训练方法， 其特征在于， 所述执行 特征传播的计算式为：权　利　要　求　书 1/2 页 2 CN 115457183 A 2其中， m表示所述残缺手绘草图中图节点数量； aij表示第i个图节点与第j个图节点之间 的链接强度， 所述链接强度根据各图节点绘画时序由近到远逐渐降低， 其中， 自连接的图节 点的所述链接强度最高； 表示所述残缺手绘草图中第i个图节点的视 觉特征向量。 5.根据权利要求1所述的序列化草图生成与重建模型训练方法， 其特征在于， 构建所述 重建草图与所述完整草图之间的损失函数， 还 包括： 构建所述重建草图与 所述完整草图之间的重建损失和感知损失， 并根据 所述重建损失 和所述感知损失构建联合损失。 6.根据权利要求5所述的序列化草图生成与重建模型训练方法， 其特征在于， 所述重建 损失的函数计算式为： 其中， Lrecon表示重建损失； 表示所述重建草图的 图节点数据的后验分布概率； pθ (S|z)表示所述残缺手绘草图的图节点数据的分布概 率。 7.根据权利要求6所述的序列化草图生成与重建模型训练方法， 其特征在于， 所述感知 损失的函数计算式为： 其中， Lpercep表示感知损失； l表示所述序列化草图生成与重建模型的层级； Hl表示每一 层的高； Wl表示每一层的宽； wl表示对每一层的激活通道进行缩放； 和 分别表示从 所述重建草图和所述残缺手绘草图进行栅格化并提取 特征。 8.根据权利要求7所述的序列化草图生成与重建模型训练方法， 其特征在于， 所述联合 损失的函数计算式为： Ltotal＝(1‑pmask)*Lrecon+pmask*Lpercep； 其中， Ltotal表示联合损失； pmask表示所述残缺手绘草图节点在所述邻接矩阵中被置零 隐去的概 率； Lrecon表示重建损失； Lpercep表示感知损失。 9.一种序列化 草图生成与重建方法， 其特 征在于， 该 方法包括以下步骤： 获取待处 理的残缺手绘草图； 将所述残缺手绘草图输入如权利要求1至8中任意一项所述序列化草图生成与重建模 型训练方法中的序列化 草图生成与重建模型， 以得到所述残缺手绘草图对应的重建草图。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行时实现如权利要求1至9中任一项所述序列化草图生成与重建模型训练方法和所述序 列化草图生成与重建方法的步骤。权　利　要　求　书 2/2 页 3 CN 115457183 A 3