(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211113468.2 (22)申请日 2022.09.14 (71)申请人 北方工业大 学 地址 100144 北京市石景山区晋元庄路5号 (72)发明人 徐继宁　龚博　李志军　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 万慧华 (51)Int.Cl. G06F 16/33(2019.01) G06F 16/35(2019.01) G06F 16/36(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于多神经网络与知识图谱的简答题 评分方法及系统 (57)摘要 本发明涉及一种基于多神经网络与知识图 谱的简答题评分方法及系统， 该方法包括： 根据 原始学科知识点图谱中知识点及知识点关系得 到多个初始三元组， 对知识点关系进行聚类； 将 目标学科知识 语料作为样本， 将聚类后 知识点及 其关系三元组作为标签对神经网络模型进行训 练， 得到知识点关系提取网络模型； 根据目标学 科知识语料得到当前学科知识点关系图神经网 络； 根据题目、 标答和应试者作答内容分别生成 题目、 标答和作答内容知识点关系图谱借助图神 经网络进行区域匹配， 进行综合评分； 根据题目 类型选择评分策略， 得到评分结果。 本发明综合 考虑题目类型、 标答评分点匹配和相关学科知识 的内在逻辑关系， 评分结果更准确。 权利要求书3页 说明书12页 附图5页 CN 115438152 A 2022.12.06 CN 115438152 A 1.一种基于多神经网络与知识图谱的简答题评分方法， 其特 征在于， 所述方法包括： 获取原始学科知识点图谱中所有知识点以及知识点之间的关系， 整理形成多个初始三 元组， 作为原始学科知识点关系 数据集， 并对所述初始三元组中的所有初始知识点关系进 行聚类， 形成聚类后的知识点及其关系三元组； 获取目标学科知识语料， 搭建神经网络模型， 将所述目标学科知识语料作为样本数据， 将所述聚类后的知识点及其关系三元组作为标签数据， 对所述神经网络模型进行训练， 得 到知识点关系提取网络模型； 采用所述知识点关系提取网络模型对所述目标学科知识语料进行知识点关系提取， 得 到多个目标学科知识点及其关系三元组， 并将所述目标学科知识点及其关系三元组补充到 所述原始学科知识点关系数据集中， 形成当前 学科知识点及其关系数据集； 根据所述当前学科知识点关系数据集生成当前学科知识点关系图谱， 并将所述当前学 科知识点关系图谱转换成C OO向量矩阵， 根据所述C OO向量矩阵得到当前学科知识 点关系的 图神经网络模型； 获取待评分简答题的题目内容和标准答案， 采用所述知识点关系提取网络模型分别对 所述题目内容和所述标准答案进 行知识点关系提取， 得到题目知识 点关系图谱和标答知识 点关系图谱； 计算所述题目知识点关系图谱和所述标答知识点关系图谱的全局空间向量， 并对所述 当前学科知识关系的图神经网络模型进行局部空间向量提取， 得到与所述全局空间向量匹 配的相关评 分区域， 并生成对应的评分知识点关系图谱； 其中， 计算所述题目知识 点关系图 谱和所述标答知识 点关系图谱的全局空间向量时， 根据题目知识点关系图谱生成题目知识 点关系图神经网络以及根据标答知识点关系图谱生成标答知识 点关系图神经网络， 并根据 所述题目知识点关系图神经网络以及所述标答知识点关系图神经网络计算得到包含标答 知识点关系和题目知识点关系的全局空间向量； 基于所述题目内容对所述题目进行分类， 确定题目类型以及所述题目内容归属不同题 目类型的概 率值； 所述题目类型包括确定性题目和非确定性题目； 获取学生对所述待评分简答题的作答内容， 得到作答知识点关系图谱； 根据所述题目类型选择对应的评分策略， 根据选择的评分策略对所述作答内容进行评 分， 得到评分结果； 所述评分策略由所述题目知识点关系图谱、 所述标答知识点关系图谱、 所述评分知识点关系图谱以及所述作答知识点关系图谱确定 。 2.根据权利要求1所述的基于多神经网络与知识图谱的简答题评分方法， 其特征在于， 所述根据所述题目类型选择对应的评分策略， 根据选择的评分策略对所述作答内容进 行评 分， 得到评分结果， 具体包括： 当所述题目类型为确定性题目时， 所述评分策略具体包括： 根据所述题目知识点关系 图谱和所述标答知识点关系图谱的差集确定给分点， 并对所述作答知识 点关系图谱进 行匹 配评分， 得到 评分结果； 所述评分结果包括评分 分数和评分依据； 当所述题目类型为非确定性题目时， 所述评分策略具体包括： 根据所述题目知识点关 系图谱与所述标答知识 点关系图谱的差集、 所述评 分知识点关系图谱与所述题目知识点关 系图谱的差集确定得分点， 并对所述作答知识点关系图谱进行匹配评分， 得到 评分结果。 3.根据权利要求2所述的基于多神经网络与知识图谱的简答题评分方法， 其特征在于，权　利　要　求　书 1/3 页 2 CN 115438152 A 2当所述题目类型为确定性题目时， 所述评分 分数Scr的计算公式为： Scr＝[f特 征相 似度(G2‑G1,G3)]·Miscr 其中， G1表示题目知识点关系图谱， G2表示标答知识点关系图谱， G3表示作答知识点关 系图谱， Miscr表示包含第i道题的评分标准具体分值的评分矩阵， f特征相 似度表示两个图谱间的 特征相似度； 当所述题目类型为非确定性题目时， 所述评分 分数Scr的计算公式为： Scr＝[αk·f特 征相 似度(G2‑G1,G3)+(1‑αk)·f特 征相 似度(G4‑G1,G3)]·Mkscr 其中， G4表示评分知识点关系图谱， αk＝e‑3V为权重系数， V为题目开放程度概率值， Mkscr 为包含第K道题的评分标准具体分值的评分矩阵。 4.根据权利要求3所述的基于多神经网络与知识图谱的简答题评分方法， 其特征在于， 所述特征相似度f特 征相 似度的计算公式为： 其中， Gi和Gj表示不同的图谱， i和j表示不同图谱的标号， β 和γ表示图谱中的不同知识 点， θ表示两个知识点之间的关系指向。 5.一种基于多神经网络与知识图谱的简答题评分系统， 其特 征在于， 所述系统包括： 学科知识点获取和聚类单元， 用于获取原始学科知识点图谱中所有知识点以及知识点 之间的关系， 整理形成多个初始 三元组， 作为原始学科知识 点关系数据集， 并对 所述初始 三 元组中的所有初始知识点关系进行聚类， 形成聚类后的知识点及其关系三元组； 知识点关系提取网络模型确定单元， 用于获取目标学科知识语料， 搭建神经网络模型， 将所述目标学科知识语料作为样本数据， 将所述聚类后的知识 点及其关系三元组作为标签 数据， 对所述神经网络模型进行训练， 得到知识点关系提取网络模型； 当前学科知识点及其关系数据集确定单元， 用于采用所述知识点关系提取网络模型对 所述目标学科知识语料进行知识点关系提取， 得到多个目标学科知识点及其关系三元组， 并将所述目标学科知识 点及其关系三元组补充到所述原始学科知识 点关系数据集中， 形成 当前学科知识点及其关系数据集； 当前学科知识点关系图谱和图神经网络模型生成单元， 用于根据 所述当前学科知识点 关系数据集生成当前学科知识点关系图谱， 将所述当前学科知识点关系图谱转换成COO向 量矩阵， 根据所述CO O向量矩阵得到当前 学科知识点关系的图神经网络模型； 题目知识点关系图谱和标答知识点关系图谱确定单元， 用于获取待评分简答题的题目 内容和标准答案， 采用所述知识 点关系提取网络模型分别对所述题目内容和所述标准答案 进行知识点关系提取， 得到题目知识点关系图谱和标答知识点关系图谱； 评分知识点关系图谱生成单元， 用于计算所述题目知识点关系图谱和所述标答知识点 关系图谱的全局空间向量， 并对所述当前学科知识关系的图神经网络模型进 行局部空间向 量提取， 得到与所述全局空间向量匹配的相关评分区域， 并生成对应的评分知识点关系图 谱； 其中， 计算所述题目知识 点关系图谱和所述标答知识 点关系图谱的全局空间向量时， 根 据题目知识点关系图谱生成题目知识点关系图神经网络以及根据标答知识点关系图谱生 成标答知识 点关系图神经网络， 并根据所述题目知识点关系图神经网络以及所述标答知识 点关系图神经网络计算得到包 含标答知识点关系和题目知识点关系的全局空间向量；权　利　要　求　书 2/3 页 3 CN 115438152 A 3