(19)中华 人民共和国 国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111548933.0 (22)申请日 2021.12.17 (65)同一申请的已公布的文献号 申请公布号 CN 113935788 A (43)申请公布日 2022.01.14 (73)专利权人 腾讯科技 （深圳） 有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 (72)发明人 钟子宏　 (74)专利代理 机构 北京派特恩知识产权代理有 限公司 1 1270 代理人 刘晖铭　蒋雅洁 (51)Int.Cl. G06Q 30/02(2012.01) G06N 20/00(2019.01)审查员 罗湘 (54)发明名称 模型评估方法、 装置、 设备及计算机可读存 储介质 (57)摘要 本申请提供了一种模型评估方法、 装置、 设 备及计算机可读存储介质； 方法包括： 获取初步 训练好的预测模 型、 当前时间周期的第一样本数 据和当前时间周期的上一个时间周期的第二样 本数据； 利用初步训练好的预测模 型对第一样本 数据和第二样本数据分别进行预测处理， 得到当 前时间周期对应的第一预测结果和上一个时间 周期对应的第二预测结果； 基于当前时间周期的 第一标签信息、 第一预测结果、 上一个时间周期 对应的第二标签信息和第二预测结果， 确定初步 训练好的预测模 型在当前时间周期的评估信息； 当确定评估信息达到预设的评估阈值时， 将初步 训练好的预测模型确定为最终训练好的预测模 型。 通过本申请， 能够提高预测模型对当前数据 的预测精度。 权利要求书3页 说明书21页 附图5页 CN 113935788 B 2022.03.22 CN 113935788 B 1.一种模型评估方法， 其特 征在于， 所述方法包括： 获取初步训练好的预测模型， 获取当前时间周期的第 一样本数据和所述当前时间周期 的上一个时间周期的第二样本数据； 利用所述初步训练好的预测模型对所述第一样本数据和所述第二样本数据分别进行 预测处理， 得到所述当前时间周期对应的第一预测结果和所述上一个时间周期对应的第二 预测结果； 基于所述当前时间周期的第一标签信息、 所述第一预测结果、 所述上一个时间周期的 第二标签信息和所述第二预测结果， 确定所述初步训练好的预测模型在所述当前时间周期 的评估信息； 当确定所述评估信 息达到预设的评估阈值 时， 将所述初步训练好的预测模型确定为最 终训练好的预测模型； 所述基于所述当前时间周期的第一标签信息、 所述第一预测结果、 所述上一个时间周 期的第二标签信息和所述第二预测结果， 确定所述初步训练好的预测模型在所述当前时间 周期的评估信息， 包括： 基于所述第一标签信息和所述第一预测结果构建所述当前时间  周 期对应的混淆矩阵， 基于所述第二标签信息和所述第二预测结果构建所述上一个时间周期 对应的混淆矩阵， 基于所述当前时间周期对应的混淆矩阵和所述上一个时间周期对应的混 淆矩阵， 确定所述初步训练好的预测模型在所述当前时间周期的评估信息 。 2.根据权利要求1中所述的方法， 其特征在于， 所述第 一预测结果和所述第 二预测结果 均为二值化的向量， 所述基于所述当前时间周期的第一标签信息、 所述第一预测结果、 所述 上一个时间周期的第二标签信息和所述第二预测结果， 确定所述初步训练好的预测模型在 所述当前时间周期的评估信息， 包括： 基于所述第一预测结果确定在所述当前时间周期中预测为 正样本的第一用户集 合； 基于所述第一预测结果和所述第一标签信息确定在所述当前时间周期中正确预测为 正样本的第二用户集 合； 基于所述第二预测结果和所述第二标签信息确定在所述上一个时间周期中错误预测 为负样本的第三用户集 合； 基于所述第 一用户集合、 所述第 二用户集合和所述第 三用户集合确定所述初步训练好 的预测模型在所述上一个时间周期的影响下， 在所述当前时间周期的查 准率。 3.根据权利要求2中所述的方法， 其特征在于， 基于所述第一用户集合、 所述第二用户 集合和所述第三用户集合确定所述初步训练好的预测模型在所述上一个时间周期的影响 下， 在所述当前时间周期的查 准率， 包括： 确定所述第一用户集 合和所述第三用户集 合的第一交集； 确定所述第二用户集 合和所述第三用户集 合的第二交集； 确定所述第一用户集合对应的第一用户个数、 所述第二用户集合对应的第二用户个 数、 所述第三用户集 合对应的第三用户个数； 确定所述第一交集对应的第四用户个数和所述第二交集对应的第五用户个数； 基于所述第 一用户个数、 所述第 二用户个数、 所述第 三用户个数、 所述第四用户个数和 所述第五用户个数， 确定所述初步训练好的预测模型在所述上一个时间周期的影响下， 在 所述当前时间周期的查 准率。权　利　要　求　书 1/3 页 2 CN 113935788 B 24.根据权利要求3 中所述的方法， 其特征在于， 所述基于所述当前时间周期的第 一标签 信息、 所述第一预测结果、 所述上一个时间周期的第二标签信息和所述第二预测结果， 确定 所述初步训练好的预测模型在所述当前时间周期的评估信息， 包括： 基于所述第一标签信息， 确定在所述当前时间周期内实际为 正样本的第四用户集 合； 确定所述第三用户集 合和所述第四用户集 合的第三并集； 确定所述第四用户集 合对应的第六用户个数和所述第三并集对应的第七用户个数； 基于所述第 二用户个数、 所述第 三用户个数、 所述第五用户个数、 所述第六用户个数和 所述第七用户个数， 确定所述初步训练好的预测模型在所述上一个时间周期的影响下， 在 所述当前时间周期的查全率。 5.根据权利要求1中所述的方法， 其特 征在于， 所述方法还 包括： 获取各个用户标识对应的日志数据， 基于所述日志数据确定训练数据， 所述训练数据 包括多个训练特 征数据和各个训练特 征数据对应的营销场景 标签； 获取预设营销场景类型对应的训练特征数据和所述预设营销场景类型对应的预设模 型； 利用所述预设营销场景类型对应的训练特征数据对所述预设营销场景类型对应的预 设模型进行迭代训练； 在确定达到迭代结束条件时， 获取所述预设营销场景类型对应的初步训练好的预测模 型。 6.根据权利要求5中所述的方法， 其特征在于， 所述基于所述日志数据确定训练数据， 包括： 基于所述日志数据确定各个用户标识对应的历史特 征数据和营销场景 标签； 基于所述营销场景 标签确定各个营销场景类型对应的历史特 征数据； 将所述各个营销场景类型对应的历史特征数据进行划分， 得到所述各个营销场景类型 对应的训练特 征数据和所述各个营销场景类型对应的测试 数据。 7.根据权利要求1至 6任一项所述的方法， 其特 征在于， 所述方法还 包括： 当确定所述评估信 息未达到所述评估阈值 时， 再次获取所述初步训练好的预测模型对 应的新的训练数据； 利用所述新的训练数据对所述初步训练好的预测模型继续进行训练， 直至所述评估信 息达到所述评估阈值， 得到最终训练好的预测模型。 8.根据权利要求1至 6任一项所述的方法， 其特 征在于， 所述方法还 包括： 获取多个营销场景类型分别对应的训练好的预测模型和多个用户标识在当前时间周 期的多个用户特 征数据； 将所述多个用户特征数据分别输入各个训练好的预测模型， 得到各个营销场景类型对 应的预测向量； 基于所述各个营销场景类型对应的预测向量确定各个用户标识对应的目标营销场景 类型。 9.根据权利要求8中所述的方法， 其特 征在于， 所述方法还 包括： 在确定达到推荐时机时， 基于所述各个用户标识对应的目标营销场景类型， 确定所述 各个用户标识对应的目标推荐信息；权　利　要　求　书 2/3 页 3 CN 113935788 B 3