(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210450715.1 (22)申请日 2022.04.26 (71)申请人 中国科学院自动化研究所 地址 100190 北京市海淀区中关村东路95 号 (72)发明人 孟高峰　李硕　向世明　潘春洪　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 胡程潇 (51)Int.Cl. G06V 30/18(2022.01) G06V 30/19(2022.01) G06V 10/44(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06T 11/20(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 手写文本图像生成方法、 装置、 电子设备和 存储介质 (57)摘要 本发明提供一种手写文本图像生 成方法、 装 置、 电子设备和存储介质， 其中方法包括： 确定内 容文本和参考手写文本图像； 基于手写文本图像 生成模型， 应用所述参考手写文本图像中相邻字 符之间的位置关系， 分别对所述内容文本和参考 手写文本图像进行特征提取， 并应用提取得到的 特征生成目标手写文本图像。 本发 明实施例提供 的手写文本图像生成方法、 装置、 电子设备和存 储介质， 相比于通过逐字符生成的方式， 充分考 虑到参考手写文本图像中相邻两字符之间的结 构关联性， 从而能够得到质量较高的目标手写文 本图像， 提高了手写文本图像生成的视觉合理 性。 权利要求书2页 说明书12页 附图3页 CN 114926843 A 2022.08.19 CN 114926843 A 1.一种手写 文本图像生成方法， 其特 征在于， 包括： 确定内容文本和参 考手写文本图像； 基于手写文本图像生成模型， 应用所述参考手写文本图像中相邻字符之间的位置关 系， 分别对所述内容文本和 参考手写文本图像进行特征提取， 并应用提取得到的特征生成 目标手写 文本图像； 其中， 所述手写文本 图像生成模型是基于样本内容文本、 样本参考手写文本 图像以及 标签手写文本图像训练得到的。 2.根据权利要求1所述的手写文本图像生成方法， 其特征在于， 所述基于手写文本图像 生成模型， 应用所述参考手写文本图像中相邻字符之间的位置关系， 分别对所述内容文本 和参考手写文本图像进行 特征提取， 并应用提取 得到的特 征生成目标手写 文本图像， 包括： 基于所述手写文本图像生成模型中的第 一识别器， 对所述参考手写文本图像中字符的 内容和位置进行识别， 得到所述 参考手写文本图像的字符位置和空白字符位置； 基于所述手写文本图像生成模型中的内容特征调整层， 应用所述参考手写文本图像的 空白字符位置的特征图， 对所述内容文本的原始内容特征进行调整， 得到所述内容文本的 内容特征； 基于所述手写文本图像生成模型中的风格特征调整层， 应用所述参考手写文本图像的 字符位置的特征图， 对所述参考手写文本图像的原始风格特征进行调整， 得到所述参考手 写文本图像的风格特 征； 基于所述手写文本 图像生成模型中的解码器， 应用所述内容特征和风格特征， 生成所 述目标手写 文本图像。 3.根据权利要求2所述的手写文本图像生成方法， 其特征在于， 所述基于所述手写文本 图像生成模型中的内容特征调整层， 应用所述参考手写文本图像的空白字符位置的特征 图， 对所述内容文本的原 始内容特 征进行调整， 得到所述内容文本的内容特 征， 包括： 基于所述内容特征调整层中的间距特征提取层， 对所述空白字符位置的特征图进行间 距特征提取， 得到所述 参考手写文本图像中相邻字符 之间的间距特 征； 基于所述内容特征调整层中的间距特征调整层， 应用所述间距特征， 调整所述原始内 容特征中相邻字符 之间的间距， 得到所述内容文本的内容特 征。 4.根据权利要求2所述的手写文本图像生成方法， 其特征在于， 所述基于所述手写文本 图像生成模型中的内容特征调整层， 应用所述参考手写文本图像的空白字符位置的特征 图， 对所述内容文本的原始内容特征进行调整， 得到所述内容文本的内容特征， 之前还包 括： 基于所述手写文本图像生成模型中的部件结构字典， 确定所述内容文本 中各字符的部 件索引和结构索引； 基于所述手写文本图像生成模型中的内容编码器， 应用所述内容文本中各字符的部件 索引和结构索引， 对所述内容文本进行内容编码， 得到所述内容文本的原 始内容特 征。 5.根据权利要求4所述的手写文本图像生成方法， 其特征在于， 所述基于所述手写文本 图像生成模型中的内容编码器， 应用所述内容文本中各字符的部件索引和结构索引， 对所 述内容文本进行内容编码， 得到所述内容文本的原 始内容特 征， 包括： 基于所述内容编码器中的字符嵌入层， 应用所述内容文本 中各字符的部件索引和结构权　利　要　求　书 1/2 页 2 CN 114926843 A 2索引， 对所述内容文本的各字符进行内容编码， 得到所述各字符的字符嵌入特 征； 基于所述内容编码器中的字符拼接层， 对所述各字符的字符嵌入特征进行拼接， 得到 所述内容文本的原 始内容特 征。 6.根据权利要求1至5中任一项所述的手写文本 图像生成方法， 其特征在于， 所述手写 文本图像生成模型 是基于如下步骤训练得到的： 将所述样本 内容文本和样本参考手写文本图像输入至初始模型中， 得到所述初始模型 输出的生成手写 文本图像； 基于所述生成手写文本图像与所述标签手写文本图像在像素特征上的差异、 在书写风 格上的差异， 所述生成手写文本图像与所述内容文本在文本内容上 的差异， 以及判别器对 于所述生成手写文本图像的判别结果中的至少一种， 对所述初始模型进行训练， 得到所述 手写文本图像生成模型。 7.一种手写 文本图像生成装置， 其特 征在于， 包括： 文本和图像确定单 元， 用于确定内容文本和参 考手写文本图像； 目标图像生成单元， 用于基于手写文本 图像生成模型， 应用所述参考手写文本 图像中 相邻字符之间的位置关系， 分别对所述内容文本和参考手写文本图像进行特征提取， 并应 用提取得到的特 征生成目标手写 文本图像； 其中， 所述手写文本 图像生成模型是基于样本内容文本、 样本参考手写文本 图像以及 标签手写文本图像训练得到的。 8.一种电子设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上运 行的计算机程序， 其特征在于， 所述处理器执行所述程序时实现如权利要求1至6任一项所 述手写文本图像生成方法。 9.一种非暂态计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机 程序被处 理器执行时实现如权利要求1至 6任一项所述手写 文本图像生成方法。 10.一种计算机程序产品， 包括计算机程序， 其特征在于， 所述计算机程序被处理器执 行时实现如权利要求1至 6任一项所述手写 文本图像生成方法。权　利　要　求　书 2/2 页 3 CN 114926843 A 3