(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211205618.2 (22)申请日 2022.09.30 (71)申请人 哈尔滨工业大 学 （深圳） （哈尔滨工 业大学深圳科技创新研究院） 地址 518055 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 王晔　贾焰　莫重　廖清　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 江嘉玲 (51)Int.Cl. G06Q 10/04(2012.01) G06F 16/36(2019.01) G06F 16/9535(2019.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06N 5/04(2006.01) (54)发明名称 一种基于图神经网络进行用户行为预测的 方法及装置 (57)摘要 本申请涉及一种基于图神经网络进行用户 行为预测的方法及装置， 其方法包括标注用户、 商品及两者之间的交互行为； 进行构图； 初始化 动态实体嵌入和动态关系嵌入， 设置模型的训练 时间步； 若当前的训练时间步小于设置的训练时 间步， 则获取当前的时序知识图谱的静态关系嵌 入， 使用循环神经网络更新动态关系嵌入； 使用 图神经网络计算当前的时序知识图谱的静态实 体嵌入， 并使用循环神经网络更新动态实体嵌 入， 直至训练时间步等于或大于设置值； 使用卷 积解码器进行解码， 得到所有实体的得分， 并根 据得分进行评估， 保存评估结果满足预设条件的 时序知识图谱推理的模型； 基于模型进行预测。 本申请具有使图结构信息聚合更准确， 提高预测 精度的效果。 权利要求书3页 说明书14页 附图2页 CN 115545300 A 2022.12.30 CN 115545300 A 1.一种基于图神经网络进行用户行为预测的方法， 其特 征在于， 包括以下步骤， 标注用户、 商品及两者之间的交 互行为， 获取 所有的实体和行为关系； 将获取的所述实体和所述行为关系进行构图， 得到时序知识图谱； 初始化所述 时序知识图谱的动态实体嵌入和动态关系嵌入， 设置所述 时序知识图谱推 理的模型的训练时间步； 若当前的训练时间步小于设置的所述训练时间步， 则获取当前的所述 时序知识图谱的 静态关系嵌入， 使用循环神经网络更新动态关系嵌入； 使用图神经网络计算当前的时序知识图谱的静态实体嵌入， 并使用循环神经网络更新 动态实体嵌入， 直至当前的训练时间步 等于或大于设置的所述训练时间步； 使用卷积解码器进行解码， 得到所有实体的得分， 并根据所述得分进行评估， 保存评估 结果满足预设条件的所述时序知识图谱推理的模型； 基于所述模型， 对未来多个时间步的事实进行 预测， 输出 预测的用户行为。 2.根据权利要求1所述的基于图神经网络进行用户行为预测的方法， 其特征在于， 所述 获取当前的所述时序知识图谱的静态关系嵌入， 使用循环神经网络更新动态关系嵌入的步 骤包括， 针对所述 时序知识图谱的每个时间段下的切片， 对所述 时序知识图谱的所述动态关系 嵌入使用平均池化对与其相关的所述实体进行操作， 得到静态关系嵌入； 基于所述静态关系嵌入， 使用循环神经网络GRU对所述动态关系嵌入进行 更新。 3.根据权利要求1所述的基于图神经网络进行用户行为预测的方法， 其特征在于， 所述 使用图神经网络计算当前的静态实体嵌入， 并使用循环神经网络更新动态实体嵌入的步骤 包括， 将所述时序知识图谱的上一时间段得到的所述动态实体嵌入和所述动态关系嵌入输 入具有关系注 意力机制的两层网络结构的图神经网络RGCN中， 运算得到用户和商品在当前 时间下的结构化实体嵌入， 以及用户和商品在当前时间下的静态实体嵌入； 同时， 将上一 时间段得到的所述动态实体嵌入和所述动态关系嵌入输入具有时间感知 机制的两层网络结构的图神经网络TGCN中； 将所述结构化实体嵌入和所述静态实体嵌入进行拼接， 并采用循环神经网络GRU对动 态实体嵌入进行 更新。 4.根据权利要求1所述的基于图神经网络进行用户行为预测的方法， 其特征在于， 所述 时序知识图谱包括G＝(E,R,S,T)， 其中， E＝{e1,e2,…,e|E|}表示用户和商品的实体 集合， 包 含|E|种不同实体， R＝{r1,r2,…,r|R|}表示用户和商品的交互行为的行为关系集合， 包含|R |种不同行为关系， T＝{0,1, …,t|T|}表示时序知识图谱中事实发生的时间集合， 包含|T|个 时间步， 表示知识图谱中事实的集 合。 5.根据权利要求4所述的基于图神经网络进行用户行为预测的方法， 其特征在于， 所述 使用图神经网络计算当前的静态实体嵌入的公式包括， 式中， 表示实体o在l+1层的嵌入， 表示实体s在l层的嵌入， 表示实体o在l层权　利　要　求　书 1/3 页 2 CN 115545300 A 2的嵌入， 表示带有关系聚合信息的权重矩阵， 表示带有关系聚合信息的自循环矩阵， co表示实体o的入度， co为一个归一化常数， f表示 带泄露的随机线性整流函数， (s,r,o,t)表 示事实的四元组形式。 6.根据权利要求1所述的基于图神经网络进行用户行为预测的方法， 其特征在于， 所述 根据所述得分进 行评估， 保存评估结果满足预设条件的所述时序知识图谱推理的模型的步 骤包括， 将所述得分按由高到低进行排序， 得到排序列表； 将当前得分与所述排序列表进行比较， 若当前得分与所述排序列表中的第n个结果相 同， 则将当前 得分替换为1/n； 根据所有得分计算所述评估结果， 并保存评估结果最大的所述 时序知识图谱推理的模 型， 其中， 所述评估结果的计算公式为， 式中， Q表示待预测的事实的个 数， ranki表示对于第i个事实的四元组， 排序列表中与当 前得分相同的位置 。 7.根据权利要求1所述的基于图神经网络进行用户行为预测的方法， 其特征在于， 所述 根据所述得分进 行评估， 保存评估结果满足预设条件的所述时序知识图谱推理的模型的步 骤包括， 将所述得分按由高到低进行排序， 得到排序列表； 将当前得分与所述排序列表进行比较， 计算排序小于第 n个事实的四元组的平均占比， 其中， 所述平均占比的计算公式为， 式中， Q表示待预测的事实的个 数， ranki表示对于第i个事实的四元组， χ表示indicator 函数， n依次取1、 3和10； 保存所述平均占比最大的所述时序知识图谱推理的模型。 8.根据权利要求1所述的基于图神经网络进行用户行为预测的方法， 其特征在于， 所述 使用循环神经网络更新动态关系嵌入时， 还 包括以下步骤， 基于关系预测中的标签向量， 使用交叉熵计算所述 时序知识图谱推理 的模型的训练过 程中的关系嵌入损失， 其中， 所述关系嵌入损失的计算公式为， 式中， Lr为关系嵌入损失函数， 表示 中第k个关系的标签向量， pk(p|s,r,Ht, Rt)表示关系k的概 率得分。 9.根据权利要求1所述的基于图神经网络进行用户行为预测的方法， 其特征在于， 所述 使用循环神经网络更新动态实体嵌入时， 还 包括以下步骤， 基于实体预测中的标签向量， 使用交叉熵计算所述 时序知识图谱推理 的模型的训练过权　利　要　求　书 2/3 页 3 CN 115545300 A 3