(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210470843.2 (22)申请日 2022.04.28 (71)申请人 阿里巴巴 （中国） 有限公司 地址 310023 浙江省杭州市余杭区五常街 道文一西路969号3幢5层5 54室 (72)发明人 崔泽宇　马坚鑫　周畅　周靖人　 杨红霞　 (74)专利代理 机构 北京太合九思知识产权代理 有限公司 1 1610 专利代理师 孙明子　刘戈 (51)Int.Cl. G06F 9/50(2006.01) G06K 9/62(2022.01) G06F 40/186(2020.01) (54)发明名称 模型数据处理系统 (57)摘要 本发明实施例提供一种模型数据处理系统， 该系统包括： 终端设备和云服务器。 云服务器训 练语言模型并将收敛的语言模型配置到终端设 备中。 终端设备根据描述用户行为的历史行为文 本和已经训练至收敛的语言模型， 对模板信息进 行优化， 以生成包括语言模型和优化后的模板信 息的推荐模 型。 终端设备本地只需配置通用的语 言模型以及不同推荐任务对应的模板信息即可， 终端设备无需为每种推荐服务都配置单独的推 荐模型， 由于模板信息包含的参数更少， 因此， 能 够降低终端设备上内存资源的损耗。 同时， 终端 设备的重点处理过程在于对包含少量参数的第 一模板信息进行优化， 在优化过程中， 也使得终 端设备中计算资源的损耗减 小。 权利要求书2页 说明书13页 附图5页 CN 114942843 A 2022.08.26 CN 114942843 A 1.一种模型 数据处理系统， 其特 征在于， 包括： 终端设备和云服 务器； 所述云服务器， 用于根据训练文本训练语言模型； 将收敛的所述语言模型和第一推荐 任务对应的第一模板信息配置 到所述终端设备中； 所述终端设备， 用于获取用于描述用户行为的第 一历史行为文本以及所述第 一模板信 息； 根据所述第一历史行为文本和所述语 言模型， 优化所述第一模板信息， 以得到包括优化 后的所述第一模板信息和所述语言模型的第一推荐模型， 所述第一推荐模 型与所述第一推 荐任务对应。 2.根据权利要求1所述的系统， 其特 征在于， 所述第一模板信息包括第一模板向量； 所述终端设备， 用于将所述第一历史行为文本输入所述语言模型， 以由所述语言模型 融合所述第一历史行为文本的特 征向量和所述第一模板向量； 获取所述语言模型根据融合结果 生成的预测结果； 根据所述预测结果和第二历史行为文本之间的差异， 优化所述第一模板向量中的元 素， 所述第二历史行为文本的生成时间晚于所述第一历史行为文本 。 3.根据权利要求2所述的系统， 其特征在于， 所述终端设备还用于： 获取与所述第一推 荐任务对应的第一模板文本， 所述第一模板文本和所述第一模板向量语义相同； 将所述第一历史行为文本、 所述第一模板文本和所述第一模板向量输入所述语言模 型， 以由所述语言模型将所述第一历史行为文本和所述第一模板文本各自的特征向量以及 所述第一模板向量进行融合。 4.根据权利要求3所述的系统， 其特征在于， 所述语言模型中的第一特征提取层， 用于 将所述第一历史行为文本和所述第一模板文本各自的特征向量分别与所述第一模板 向量 进行融合， 以得到融合特 征向量； 所述语言模型中的第 二特征提取层， 用于将所述融合特征向量中的各特征向量进行融 合， 所述第二特 征提取层 在所述第一特 征提取层之后。 5.根据权利要求1至4中任一项所述的系统， 其特征在于， 所述第一推荐模型生成所述 用户下一步行为的行为文本， 所述下一步行为的行为文本的产生时间晚于所述第一历史行 为文本。 6.根据权利要求1所述的系统， 其特征在于， 所述终端设备还用于： 获取用于所述第一 历史行为文本对应的备选推荐对象的描述文本以及第二推荐任务对应的第二模板信息； 根据所述第一历史行为文本、 所述描述文本、 分类层和所述语言模型中的特征提取层， 优化所述第二模板信息， 设置所述分类层和优化后的所述第二模板信息具有相同参数， 以得到包括所述分类 层、 优化后的所述第二模板信息以及所述语言模型中的特征提取层的第二推荐模型， 所述 第二推荐模型与所述第二推荐任务对应。 7.根据权利要求6所述的系统， 其特 征在于， 所述第二模板信息包括第二模板向量； 所述终端设备， 用于将所述第一历史行为文本、 所述描述文本和所述第二模板向量输 入所述语言模型中的特征提取层， 以由所述特征提取层 对所述第一历史行为文本和所述描 述文本各自的特 征向量， 以及所述第二模板向量进行融合； 获取所述分类层根据融合结果输出的分类结果； 根据所述分类结果和所述第 二历史行为文本之间的差异， 调 整所述第 二模板向量中的权　利　要　求　书 1/2 页 2 CN 114942843 A 2元素， 所述第二历史行为文本的生成时间晚于所述第一历史行为文本 。 8.根据权利要求7所述的系统， 其特征在于， 所述终端设备还用于： 获取与所述第二推 荐任务对应的第二模板文本， 所述第二模板文本和所述第二模板向量语义相同； 将所述第一历史行为文本、 所述描述文本、 所述第二模板向量和所述第二模板文本输 入所述语言模型 的特征提取层， 以由所述特征提取层将所述第一历史行为文本、 所述描述 文本和所述第二模板文本各自的特 征向量以及所述第二模板向量进行融合。 9.根据权利要求6至8中任一项所述的系统， 其特征在于， 所述第二推荐模型输出所述 用户下一步行为的行为文本对应的备选推荐对象的分类结果， 所述下一步行为的行为文本 的产生时间晚于所述第一历史行为文本 。 10.一种模型 数据处理系统， 其特 征在于， 包括： 终端设备和云服 务器； 所述云服务器， 用于根据训练文本训练语言模型； 将收敛的所述语言模型和推荐任务 对应的模板信息配置 到所述终端设备中； 所述终端设备， 用于获取用于描述用户行为的第一历史行为文本、 所述第一历史行为 文本对应的备选推荐对象的描述文本以及所述推荐任务对应的模板信息； 根据所述第一历史行为文本、 所述描述文本、 分类层和所述语言模型中的特征提取层， 优化所述模板信息； 设置所述分类层和优化后的所述模板信 息具有相同参数， 以得到包括优化后的所述模 板信息、 所述分类层和所述特 征提取层的推荐模型， 所述推荐模型与所述推荐任务对应。权　利　要　求　书 2/2 页 3 CN 114942843 A 3