(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211110323.7 (22)申请日 2022.09.13 (66)本国优先权数据 202210366036.6 2022.04.08 CN (71)申请人 中国人民大 学 地址 100872 北京市海淀区中关村大街59 号 (72)发明人 赵鑫　王晓磊　 (74)专利代理 机构 北京邦创至诚知识产权代理 事务所(普通 合伙) 11717 专利代理师 张宇锋 (51)Int.Cl. G06F 16/332(2019.01) G06F 16/33(2019.01) G06F 16/335(2019.01)G06F 16/36(2019.01) G06F 40/35(2020.01) G06N 20/00(2019.01) (54)发明名称 一种基于提示学习方法的对话推荐系统 (57)摘要 本发明公开了一种基于提示学习方法的对 话推荐系统， 包括如下步骤： S1： 通过基于实体预 测的自监督学习融合对话文本和知识图谱的语 义信息作为任务共享的提示， 为预训练语言模型 补充用于对话推荐系统所需要的知识信息； S2： 通过对话任务特定的提示设计， 驱动预训练语言 模型生成带有物品槽位的模板语句作为回复的 中间结果； S3： 通过推荐任务特定的提示， 驱动预 训练语言模 型生成用户感兴趣的物品。 本发明借 助知识图谱增强的提示学习技术， 在固定大规模 预训练语言模 型的情况下， 通过添加任务共享和 任务特定的提示， 使 得一个模型可以高质量地完 成对话和推荐两个任务， 并生 成结果相一致的回 复语句和推荐物品。 权利要求书2页 说明书8页 附图2页 CN 115525744 A 2022.12.27 CN 115525744 A 1.一种基于提 示学习方法的对话推荐系统， 其特 征在于， 包括如下步骤： S1： 通过自监督学习融合对话文本和知识图谱的语义信息作为任务共享的提示， 为预 训练模型补充用于对话推荐系统所需要的知识； S2： 通过对话任务特定的提示设计， 驱动预训练模型生成带有物品槽位的模板语句作 为回复的中间结果； S3： 通过推荐任务特定的提 示， 驱动预训练模型生成用户感兴趣的物品。 2.根据权利要求1所述的基于提示学习方法的对话推荐系统， 其特征在于， 步骤S1具体 为： 从对话文本 中抽取出单词和实体这两种基本的语义单元， 分别用于表征文本级别和物 品级别的知识， 并设计交叉融合机制和基于 自监督学习的预训练任务， 来融合这两种类型 的知识； 首先对单词和实体这两种语义单元进行编码； 对于单词， 采用基于双向Transformer的 预训练模 型RoBERTa作为编码器， 为了减少训练和存储开销， RoBERTa模 型的权重 保持固定， 每个单词的编码被拼接起来得到文本级别的表示 其中， 是单词i的 表示， nW是单词的数目； 对于实体， 采用实体链接技术将对话文本链接至知识图谱DBpedia， 通过关系图神经网络R ‑GCN进行编码得到每个实体的表示， 并将其拼接起来得到物品级别 的表示 其中， 是实体i的表示， nE是实体的数目； 得到上述两种级别的表示之后， 为了消除它们之间的语义鸿沟， 基于双线性变换的交 叉融合机制关联这两种语义单 元： 其中， A是这两种表示之间的相似性矩阵， 它通过引入变换矩阵W1得到， 和 分别对应 语义融合后的单词表示和实体表示； 为了学习上述过程引入的参数， 设计一个自监督任务， 让模型根据对话文本预测链接 出的实体中被去掉的部分， 其计算方法如下： 其中， e表示要预测的实体， 是添加了实体表示的对话上下文， 是模型经过编码得到的上下文表示， he是实体e 经过语义融合后得到的表示； 采用交叉熵损失函数来优化语义融合引入的参数Θfuse， Θplm保持固定， 无需优化。 3.根据权利要求1所述的基于提示学习方法的对话推荐系统， 其特征在于， 步骤S2具体 为： 对话任务旨在生成富有信 息量的语句来获取用户偏好或者给用户推荐感兴趣的物品； 通过在提 示中加强单词级别的语义信息， 使得回复语句与上 下文更加相关， 具体设计如下：权　利　要　求　书 1/2 页 2 CN 115525744 A 2其中， 是经过语义融合的文本表示， Pgen是对话任务特定的连续型提示， C是对话历史 文本； 在上述提示设计中， 优化Pgen的参数Θgen， 采用交叉熵作为损失函数， 具体计算过程如 下： 其中， N是训练样本的数目， li是第i个样本中回复语句的长度， w＜j是回复中第j个位置 之前的所有单词。 4.根据权利要求3所述的基于提示学习方法的对话推荐系统， 其特征在于， 步骤S2还包 括： 对中间结果进行了共享； 具体为： 向预训练模型的词表中添加[ITEM]这一特殊单词作 为物品槽位， 并将训练样本的回复 中所有的物品都替换为[ITEM ]， 预训练模 型在每个时间步将生 成[ITEM]或者是词表中的其 他单词； 推荐模块 生成的要推荐的物品将被用于填充这些槽位。 5.根据权利要求1所述的基于提示学习方法的对话推荐系统， 其特征在于， 步骤S3具体 为： 通过在提示中加强实体级别的语义信息， 使得推荐物品更好地满足用户需求， 具体设 计如下： 其中， 是经过语义融合的实体表示， Prec是推荐任务特定的连续型提示， C是对话历史 文本， S是对话模块 生成的带有物品槽位的推荐模板； 在上述提示设计中， 优化Prec的参数Θrec， 采用交叉熵作为损失函数， 具体计算过程如 下： 其中， I是训练样本的数目， M是物品的数目， yj,i为1代表物品i是第j个训练样本中推荐 的物品， Prj(n)的计算方式为： Prj(i)＝Softmax(hu·hi) 其中， 是通过对 经过预训练模型编 码和池化操作得到的对话上 下文的表示， hi是物品i经 过语义融合得到的表示。权　利　要　求　书 2/2 页 3 CN 115525744 A 3