行业标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210203506.7 (22)申请日 2022.03.03 (71)申请人 北京字跳网络技 术有限公司 地址 100190 北京市海淀区紫金 数码园4号 楼2层0207 (72)发明人 王文涵  (74)专利代理 机构 北京天达共和律师事务所 11798 专利代理师 李园 向伟 (51)Int.Cl. G06F 16/2455(2019.01) G06F 16/242(2019.01) G06F 16/23(2019.01) G06F 16/248(2019.01) (54)发明名称 信息处理方法、 装置、 终端和存 储介质 (57)摘要 本公开提供信息处理方法及装置、 终端和存 储介质。 信息处理方法包括: 确定第一数据标识 是否为空, 当确定第一数据标识为空时, 设置第 一数据标识为空字符, 并且设置第一目标数和第 一变量的值, 第一变量为第二数据标识与第一目 标数的乘积; 当确定第一数据标识不为空时, 设 置第一变量的值为第三数据标识与第一目标数 的乘积; 基于第一数据标识、 第一目标数和第一 变量, 执行数据查询, 输出数据查询结果; 确定与 数据查询结果中的数据对应的值最大的第一数 据标识, 并且根据值更新第一数据标识的值。 通 过更新第一数据标识的值, 有效降低了数据查询 压力, 消除了数据库后期的分页瓶颈 。 权利要求书1页 说明书9页 附图3页 CN 114579615 A 2022.06.03 CN 114579615 A 1.一种信息处 理方法, 其特 征在于, 包括: 确定第一数据标识是否为空, 当确定所述第一数据标识为空时, 设置所述第一数据标 识为空字符, 并且设置第一 目标数和第一变量的值, 所述第一变量为第二数据标识与所述 第一目标数的乘积; 当确定所述第一数据标识不为空时, 设置所述第一变量的值为第三数 据标识与所述第一目标 数的乘积; 基于所述第 一数据标识、 所述第 一目标数和所述第 一变量, 执行数据查询, 输出数据查 询结果; 确定与所述数据查询结果中的数据对应的值最大的所述第 一数据标识, 并且根据 所述 值更新所述第一数据标识的值。 2.根据权利要求1所述的信 息处理方法, 其特征在于, 所述第 一数据标识的值与读取的 数据表中的数据的序号对应。 3.根据权利要求1所述的信 息处理方法, 其特征在于, 所述第 一目标数与每个线程读取 的数据的数量对应。 4.根据权利要求1所述的信 息处理方法, 其特征在于, 所述第 二数据标识和所述第 三数 据标识与读取 数据的线程的标识符对应。 5.根据权利要求1所述的信息处 理方法, 其特 征在于, 输出 数据查询结果包括: 输出所述第一目标 数个紧随着所述第一数据标识对应的数据之后的数据。 6.根据权利要求4所述的信 息处理方法, 其特征在于, 读取数据的线程的标识符为机器 分片编号、 每 个机器的线程数量和每 个机器的线程编号的函数。 7.根据权利要求6所述的信息处理方法, 其特征在于, 读取数据的线程的标识符=(机 器分片编号 –1)*每个机器的线程数量+每 个机器的线程编号 –1。 8.根据权利要求6所述的信 息处理方法, 其特征在于, 利用调度器生成所述机器分片编 号和所述每 个机器的线程编号以生成所述读取 数据的线程的标识符。 9.一种信息处 理装置, 其特 征在于, 所述信息处 理装置包括: 确定模块, 配置为确定第 一数据标识是否为空, 当确定所述第一数据 标识为空时, 设置 所述第一数据标识为空字符, 并且设置第一 目标数和第一变量的值, 所述第一变量为第二 数据标识与所述第一 目标数的乘积; 当确定所述第一数据标识不为空时, 设置所述第一变 量的值为第三数据标识与所述第一目标 数的乘积; 数据查询模块, 配置为基于所述第 一数据标识、 所述第 一目标数和所述第 一变量, 执行 数据查询, 输出 数据查询结果; 更新模块, 配置为确定与 所述数据查询结果中的数据对应的值最大的所述第 一数据标 识, 并且根据所述 值更新所述第一数据标识的值。 10.一种终端, 包括: 至少一个存 储器和至少一个处 理器; 其中, 所述至少一个存储器用于存储程序代码, 所述至少一个处理器用于调用所述至 少一个存 储器所存 储的程序代码执 行权利要求1至8中任一项所述的信息处 理方法。 11.一种存储介质, 所述存储介质用于存储程序代码, 所述程序代码用于执行权利要求 1至8中任一项所述的信息处 理方法。权 利 要 求 书 1/1 页 2 CN 114579615 A 2信息处理 方法、 装置、 终端和存 储介质 技术领域 [0001]本公开涉及信息技 术领域, 尤其涉及信息处 理方法及装置、 终端和存 储介质。 背景技术 [0002]数据是系统的基础, 做应用系统常常需要将某些数据库 中的数据批量处理, 比如 同步到目标数据存储中(例如, 关系型数据库、 文档数据库等)以用于业务 驱动、 数据统计分 析或者用作系统和业务监控依据, 批处理任务一般 分为数据读取、 数据处理、 数据写入三个 部分, 其中数据 处理和数据写入可以简单地通过异步处理等提高批处理任务的吞吐量, 但 是数据读取 经常由于共享资源成为批处 理任务的瓶颈 。 发明内容 [0003]为解决现有问题, 本公开 提供一种信息处 理方法及装置、 终端和存 储介质。 [0004]本公开采用以下的技 术方案。 [0005]本公开的实施例提供一种信息处理方法, 所述信息处理方法包括: 确定第一数据 标识是否为空, 当确定所述第一数据标识 为空时, 设置所述第一数据标识为空字符, 并且设 置第一目标数和第一变量的值, 所述第一变量为第二数据标识与所述第一 目标数的乘积; 当确定所述第一数据标识不为空时, 设置所述第一变量的值为第三数据标识与所述第一目 标数的乘积; 基于所述第一数据标识、 所述第一目标数和所述第一变量, 执行数据查询, 输 出数据查询结果; 确定与所述数据查询结果中的数据对应的值最大 的所述第一数据标识, 并且根据所述 值更新所述第一数据标识的值。 [0006]本公开的另一实施例提供了一种信息处理装置, 所述信息处理装置包括: 确定模 块, 配置为确定第一数据标识是否为空, 当确定所述第一数据标识 为空时, 设置所述第一数 据标识为空字符, 并且设置第一 目标数和第一变量的值, 所述第一变量为第二数据标识与 所述第一 目标数的乘积; 当确定所述第一数据标识不为空时, 设置所述第一变量的值为第 三数据标识与所述第一目标数的乘积; 数据查询模块, 配置为基于所述第一数据标识、 所述 第一目标数和所述第一变量, 执行数据查询, 输出数据查询结果; 更新模块, 配置为确定与 所述数据查询结果中的数据对应的值最大的所述第一数据标识, 并且根据所述值更新所述 第一数据标识的值。 [0007]在一些实施例中, 本公开提供一种终端, 包括: 至少一个存储器和至少一个处理 器; 其中, 存储器用于存储程序 代码, 处理器用于调用所述存储器所存储的程序 代码执行上 述信息处 理方法。 [0008]在一些实施例中, 本 公开提供一种存储介质, 所述存储介质用于存储程序代码, 所 述程序代码用于执 行上述信息处 理方法。 [0009]本公开的实施例通过设置每个线程读 取的数据的数量, 将读 取的数据分为多段数 据, 通过更新第一数据标识的值, 有效降低了数据查询压力, 消除了数据库后期的分页瓶 颈。 本公开的信息处理方法具有水平扩展特性, 不同的结构化查询 语言可以重复利用同一说 明 书 1/9 页 3 CN 114579615 A 3

.PDF文档 专利 信息处理方法、装置、终端和存储介质

文档预览
中文文档 14 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 信息处理方法、装置、终端和存储介质 第 1 页 专利 信息处理方法、装置、终端和存储介质 第 2 页 专利 信息处理方法、装置、终端和存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 11:18:13上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。