(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210962905.1
(22)申请日 2022.08.11
(71)申请人 腾讯科技 (武汉) 有限公司
地址 430000 湖北省武汉市江夏经济开发
区庙山阳光五路特1号
(72)发明人 左新宇 荆宁 梁海金 罗雨
(74)专利代理 机构 北京市立方律师事务所
11330
专利代理师 张海秀
(51)Int.Cl.
G06K 9/62(2022.01)
G06F 40/295(2020.01)
G06F 16/36(2019.01)
(54)发明名称
实体分类模型的训练方法、 实体 分类方法及
装置
(57)摘要
本申请实施例提供了一种知识图谱构建中
的细粒度实体分类方法、 装置及电子设备, 涉及
人工智能的机器学习领域。 细粒度实体分类方
法, 包括: 获取待分类语句; 待分类语句中包括待
分类实体; 基于待分类实体、 待分类语句以及预
设的标注信息获取第一语句; 通过 实体分类模型
对第一语句进行实体分类预测, 得到待分类语句
对应的细粒度实体 分类结果; 实体 分类模型基于
如下方式训练得到: 获取样本训练集; 样本类别
标签包括粗粒度类别标签和细粒度类别标签; 获
取与原始样本语句对应的第一样本语句和第二
样本语句; 第一样本语句中包括原始样本语句和
标注信息; 第二样本语句中包括原始样本语句和
细粒度类别标签; 对初始分类模型进行训练, 得
到实体分类模型。
权利要求书3页 说明书25页 附图5页
CN 115270990 A
2022.11.01
CN 115270990 A
1.一种知识图谱构建中的细粒度实体分类方法, 其特 征在于, 所述方法包括:
获取待分类 语句; 所述待分类 语句中包括待分类实体;
基于所述待分类实体、 所述待分类 语句以及预设的标注信息获取第一语句;
通过实体分类模型对所述第 一语句进行实体分类预测, 得到所述待分类语句对应的细
粒度实体分类结果;
其中, 所述实体分类模型基于如下 方式训练得到:
获取样本训练集; 其中, 所述样本训练集中包括多个原始样本语句、 以及每个所述原始
样本语句中的样本实体的样本类别标签; 所述样本类别标签包括粗粒度类别标签和细粒度
类别标签, 所述细粒度类别标签为所述 粗粒度类别标签的子类别标签;
针对每一所述原始样本语句, 获取与所述原始样本语句对应的第 一样本语句和第 二样
本语句; 其中, 所述第一样 本语句中包括所述原始样本语句和所述标注信息; 所述第二样本
语句中包括所述原 始样本语句和所述细粒度类别标签;
基于各所述第一样本语句、 各所述第二样本语句以及对应的各所述样本类别标签, 对
初始分类模型进行训练, 得到所述实体分类模型。
2.根据权利要求1所述的细粒度实体分类方法, 其特征在于, 获取与 所述原始样本语句
对应的第一样本语句, 包括:
将原始样本语句中的样本实体与所述标注信息组合, 形成第一样本参 考语句;
将所述第一样本参 考语句与所述原 始样本语句组合, 形成所述第一样本语句。
3.根据权利要求1所述的细粒度实体分类方法, 其特征在于, 获取与 所述原始样本语句
对应的第二样本语句, 包括:
基于所述原始样本语句中的样本实体与 所述细粒度类别标签, 获取所述原始样本语句
对应的第二样本参 考语句;
将所述第二样本参 考语句与所述原 始样本语句组合, 得到所述第二样本语句。
4.根据权利要求1所述的细粒度实体分类方法, 其特征在于, 所述实体分类模型的训练
方式中还包括如下步骤:
针对每一所述原始样本语句, 获取与所述原始样本语句对应的第三样本语句; 其中, 所
述第三样本语句中包括针对所述细粒度类别标签的描述信息;
所述基于各所述第一样本语句、 各所述第二样本语句以及对应的各所述样本类别标
签, 对初始分类模型进行训练, 得到所述实体分类模型, 包括:
基于各所述第一样本语句、 各所述第二样本语句、 各所述第三样本语句以及对应的各
所述样本类别标签, 对所述初始分类模型进行训练, 得到所述实体分类模型。
5.根据权利要求4所述的细粒度实体分类方法, 其特征在于, 所述获取与所述原始样本
语句对应的第三样本语句, 包括:
从预设的概念数据库中查询针对所述细粒度类别标签的所述描述信息;
将所述细粒度类别标签的所述描述信息连接在预设实体之后, 得到第一组合信息;
将所述细粒度类别标签连接在所述预设实体之后, 得到第二组合信息;
将所述第二组合信息连接在所述第一组合信息之后, 得到所述第三样本语句。
6.根据权利要求4所述的细粒度实体分类方法, 其特征在于, 所述初始分类模型包括第
一初始编码器、 第二初始编码器和初始预测器;权 利 要 求 书 1/3 页
2
CN 115270990 A
2所述基于各所述第一样本语句、 各所述第二样本语句、 各所述第三样本语句以及对应
的各所述样本类别标签, 对所述初始分类模型进行训练, 得到所述实体分类模型, 包括:
将各个所述第 一样本语句输入到所述第 一初始编码器, 得到针对所述第 一样本语句的
第一语义向量以及针对所述第一样本参 考语句的第一类别表达向量;
将所述第一语义向量输入到所述初始预测器, 得到所述预测类别标签;
将各所述第 二样本语句和所述第 三样本语句分别 输入到所述第 二初始编码器, 得到第
二类别表达向量和第三类别表达向量;
基于所述第 一类别表达向量、 所述第 二类别表达向量、 所述第三类别表达向量、 所述预
测类别标签以及样本类别标签, 确定训练总损失;
若所述训练总损失不满足预设的训练结束条件, 则 重复执行对初始分类模型的参数进
行调整, 并获取第一类别表达向量、 预测类别标签、 第二类别表达 向量、 第三类别表达 向量
以及确定训练总损失的步骤, 直至训练总损失满足所述训练结束条件, 将训练结束时的第
一初始编码器和初始预测器作为训练好的实体分类模型。
7.根据权利要求6所述的细粒度实体分类方法, 其特征在于, 所述基于所述第 一类别表
达向量、 所述第二类别表达向量、 所述第三类别表达向量、 所述预测类别标签以及样本类别
标签, 确定训练总损失, 包括:
根据各个所述第一样本语句的预测类别标签和样本类别标签, 确定第一损失;
基于各所述原始样本语句对应的第 一类别表达向量、 第 二类别表达向量以及第 三类别
表达向量, 确定第二损失;
基于所述第一损失和所述第二损失, 确定所述训练总损失。
8.根据权利要求7所述的细粒度实体分类方法, 其特征在于, 所述基于各所述原始样本
语句对应的第一类别表达向量、 第二类别表达向量以及第三类别表达向量, 确定第二损失,
包括:
将所述第一类别表达向量、 所述第 二类别表达向量以及所述第 三类别表达向量按照粗
粒度类别标签和细粒度类别标签进行划分;
根据具有相同粗粒度类别标签的类别表达向量、 具有不同粗粒度类别标签的类别表达
向量, 确定粗粒度差异损失值;
根据具有相同细粒度类别标签的类别表达向量、 具有不同细粒度类别标签的类别表达
向量, 确定细粒度差异损失值;
根据所述 粗粒度差异损失值和所述细粒度差异损失值确定所述第二损失。
9.根据权利要求8所述的细粒度实体分类方法, 其特征在于, 所述根据 具有相同粗粒度
类别标签的类别表达 向量、 具有不同粗粒度类别标签的类别表达 向量, 确定粗粒度差异损
失值, 包括:
确定具有相同粗粒度类别标签的类别表达向量之间的差异, 得到第一 粗粒度差异;
确定具有不同粗粒度类别标签的类别表达向量之间的差异, 得到第二 粗粒度差异;
根据所述第一 粗粒度差异和所述第二 粗粒度差异, 确定所述 粗粒度差异损失值。
10.根据权利要求8所述的细粒度实体分类方法, 其特征在于, 所述根据具有相同细粒
度类别标签的类别表达 向量、 具有不同细粒度类别标签的类别表达 向量, 确定细粒度差异
损失值, 包括:权 利 要 求 书 2/3 页
3
CN 115270990 A
3
专利 实体分类模型的训练方法、实体分类方法及装置
文档预览
中文文档
34 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共34页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-17 23:43:14上传分享