(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961821.6 (22)申请日 2022.08.11 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区浙大路 38号 (72)发明人 谭传奇　张宁豫　谢辛　陈想　 陈华钧　 (74)专利代理 机构 北京众达德权知识产权代理 有限公司 1 1570 专利代理师 袁媛 (51)Int.Cl. G06F 16/36(2019.01) G06F 40/295(2020.01) G06N 5/02(2006.01) (54)发明名称 实体预测方法及装置 (57)摘要 本申请实施例公开了一种实体预测方法及 装置， 其中方法包括： 将待预测三元组对应的文 本序列输入第一实体表征模型， 其中待预测三元 组包含已知实体、 已知实体与待预测实体之间的 关系以及 待预测实体， 得到待预测实体的表征向 量； 利用待预测实体的表征向量在预先构建的知 识仓库中查询， 得到表征向量与待预测实体的表 征向量之间的相似度满足预设相似度要求的实 体作为候选实体， 其中知识 仓库包含 各实体对应 的表征向量； 将待预测实体的表征向量和候选实 体输入第一表征映射模型， 得到待预测实体在各 候选实体上的预测置信度； 依据待预测实体在各 候选实体上的预测置信度， 从候选实体中确定待 预测实体的预测结果。 通过本申请能够高效地实 现实体预测。 权利要求书2页 说明书13页 附图7页 CN 115438187 A 2022.12.06 CN 115438187 A 1.一种实体预测方法， 其特 征在于， 该 方法包括： 将待预测三元组对应的文本序列输入第 一实体表征模型， 其中所述待预测三元组包含 已知实体、 所述已知实体与待预测实体之间的关系以及待预测实体， 得到所述待预测实体 的表征向量； 利用所述待预测实体的表征向量在预先构建的知识仓库中查询， 得到表征向量与 所述 待预测实体的表征向量之 间的相似度满足预设相似度要求的实体作为候选实体， 其中所述 知识仓库包 含各实体对应的表征向量； 将所述待预测实体的表征向量和所述候选实体输入第 一表征映射模型， 得到待预测实 体在各候选实体上的预测置信度； 依据所述待预测实体在各候选实体上的预测置信度， 从所述候选实体中确定所述待预 测实体的预测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述第 一实体表征模型和所述第 一表征映 射模型采用如下 方式预先训练得到： 获取第一训练数据， 所述第一训练数据包括多个三元组样本， 所述三元组样本包括两 个实体和该两个实体之间的关系； 利用所述第 一训练数据训练所述第 一实体表征模型和所述第 一表征映射模型； 其中将 所述三元组样本对应的第一文本序列输入第一实体表征模型， 在所述三元组样本对应的第 一文本序列中的一个实体被掩膜， 所述第一 实体表征模型输出被掩膜实体对应的表征向量 至所述第一表征映射模型， 所述第一表征映射模型利用被掩膜实体对应的表征向量输出被 掩膜实体的预测结果； 训练目标为最小化所述第一表征映射模型输出的预测结果与三元组 样本中被掩膜实体的差异， 所述第一实体表征模型采用预训练语言模型。 3.根据权利要求1所述的方法， 其特 征在于， 所述知识仓库采用如下 方式预先构建： 针对实体库中的各实体， 分别执行： 获取包含该实体的三元组， 在该三元组对应的第一 文本序列中将该实体掩膜， 将该三元组对应的第一文本序列输入所述第一实体表征模型， 以得到该实体的表征向量并存 储至知识仓库。 4.根据权利要求1或3所述的方法， 其特 征在于， 所述知识仓库采用如下 方式预先构建： 针对实体库中的各实体或者从页面中提取的各实体分别执行： 利用预训练语言模型基 于提示pr ompt学习机制从包含实体和该实体的描述文本中学习该实体的表征向量， 并将该 实体的表征向量存 储至知识仓库。 5.根据权利 要求4所述的方法， 其特征在于， 所述利用预训练语言模型基于提示prompt 机制从包 含实体和该实体的描述文本中学习该实体的表征向量包括： 获取第二训练数据， 所述第二训练数据包括实体和实体的描述文本； 利用所述第 二训练数据训练第 二实体表征模型和第 二表征映射模型， 其中将第 二训练 数据中的实体掩膜后与该实体的描述文本填入 预设的提示pr ompt模板得到第二文本序列， 将所述第二文本序列输入第二实体表征模型， 所述第二 实体表征模型输出被掩膜实体对应 的表征向量至所述第二表征映射模型， 所述第二表征映射模型利用所述被掩膜实体对应的 表征向量输出被掩膜实体的预测结果； 训练目标为最小化所述第二表征映射模型输出的预 测结果与被掩膜实体的差异； 其中所述第二实体表征模型采用预训练语言模型； 训练结束后从所述第二实体表征模型获取所述第二训练数据中各实体的表征向量并权　利　要　求　书 1/2 页 2 CN 115438187 A 2存储至所述知识仓库。 6.根据权利要求5所述的方法， 其特征在于， 所述prompt模板包括被掩膜实体的槽位、 实体的描述文本的槽位以及提 示信息； 其中所述 提示信息用以从语义上提 示被掩膜部分需要预测的内容类型。 7.根据权利要求1所述的方法， 其特征在于， 依据 所述待预测实体在各候选实体上的预 测置信度， 从所述 候选实体中确定所述待预测实体的预测结果包括： 针对各候选实体， 分别将候选实体的表征向量与 所述待预测实体的表征向量之间的相 似度以及所述待 预测实体在该候选实体上的预测置信度进 行加权处理， 得到该候选实体的 得分； 从所述候选实体中选择 得分最高的候选实体作为所述待预测实体的预测结果。 8.一种实体预测装置， 其特 征在于， 该装置包括： 表征获取单元， 被配置为将待预测三元组对应的文本序列输入第一实体表征模型， 其 中所述待 预测三元组包含已知实体、 所述已知实体与待预测实体之 间的关系以及待预测实 体， 得到所述待预测实体的表征向量； 候选查询单元， 被配置为利用所述待预测实体的表征向量在预先构建的知识仓库中查 询， 得到表征向量与所述待预测实体的表征向量之 间的相似度满足预设相似度要求的实体 作为候选实体， 其中所述知识仓库包 含各实体对应的表征向量； 表征映射单元， 被配置为将所述待预测实体的表征向量和所述候选实体输入第 一表征 映射模型， 得到待预测实体在各候选实体上的预测置信度； 结果确定单元， 被配置为依据所述待预测实体在各候选实体上的预测置信度， 从所述 候选实体中确定所述待预测实体的预测结果。 9.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器执 行时实现权利要求1至7中任一项所述的方法的步骤。 10.一种电子设备， 其特 征在于， 包括： 一个或多个处 理器； 以及 与所述一个或多个处理器关联的存储器， 所述存储器用于存储程序指令,所述程序指 令在被所述一个或多个处理器读取执行时， 执行权利要求1至7中任一项所述的方法的步 骤。权　利　要　求　书 2/2 页 3 CN 115438187 A 3