行业标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210437659.8 (22)申请日 2022.04.25 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 朱晓洁 陈静国 刘轲 陈芷征  (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 专利代理师 郭凤杰 (51)Int.Cl. G06F 9/50(2006.01) (54)发明名称 数据处理方法及服 务器 (57)摘要 本申请涉及一种数据处理方法及服务器, 数 据处理方法执行于服务器集群中任一服务器, 该 方法包括: 对待处理数据进行分片处理, 得到多 个目标分片数据; 根据多个分片数据与多个批量 执行器组之间的第一对应关系, 确定各目标分片 数据对应的目标批量执行器组; 基于分配规则从 服务器集群中确定各目标分片数据对应的目标 服务器, 并生成多个目标服务器与多个目标批量 执行器组之间的第二对应关系, 以由目标批量执 行器组处理对应的目标服务器上存储的目标分 片数据。 本申请将批量执行器组与分片数据进行 对应, 能够避免数据处理错误的情况发生, 实现 了对数据进行高效以及准确的处理, 同时达到了 资源的合理利用的效果。 权利要求书2页 说明书14页 附图6页 CN 114816751 A 2022.07.29 CN 114816751 A 1.一种数据处理方法, 其特征在于, 所述方法执行于服务器集群中的任一服务器, 包 括: 对待处理数据进行分片处 理, 得到多个目标分片数据; 根据第一对应关系, 确定各所述目标分片数据对应的目标批量执行器组, 所述第一对 应关系包括多个分片数据与多个批量执行器组之间的对应关系, 所述目标批量执行器组包 括至少两个批量执 行器, 所述批量执 行器中存 储有处理数据的执 行逻辑代码; 基于分配规则从所述服务器集群中确定各所述目标分片数据对应的目标服务器, 并生 成第二对应关系, 以由所述目标批量执行器组处理对应的所述目标服务器上存储的所述目 标分片数据, 所述第二对应关系包括多个目标服务器与多个目标批量执行器组之 间的对应 关系。 2.根据权利要求1所述的方法, 其特征在于, 所述第 一对应关系 包括多个分片数据的序 号与多个批量执行器组的序号之间的对应关系, 所述根据第一对应关系, 确定各所述 目标 分片数据对应的目标批量执 行器组, 包括: 获取所述目标分片数据的序号; 根据所述目标分片数据的序号从所述第一对应关系中确定与所述目标分片数据的序 号对应的目标批量执 行器组的序号; 将与所述目标批量执行器组的序号对应的至少两个批量执行器确定为所述目标分片 数据对应的目标批量执 行器组。 3.根据权利要求1所述的方法, 其特征在于, 所述基于分配规则从所述服务器集群 中确 定各所述目标分片数据对应的目标服 务器, 包括: 获取各所述目标分片数据的数据大小以及所述服务器集群中各服务器的剩余空间大 小; 将各所述目标分片数据的数据大小和所述服务器集群中各服务器的剩余空间大小进 行比对, 得到比对结果; 基于所述比对结果确定各 所述目标分片数据对应的目标服 务器。 4.根据权利要求1所述的方法, 其特征在于, 所述基于分配规则从所述服务器集群 中确 定各所述目标分片数据对应的目标服 务器, 包括: 获取所述目标分片数据的数量以及所述 服务器集群中服 务器的数量; 对所述目标分片数据的数量和所述服务器集群中服务器的数量进行取模计算, 得到取 模计算结果; 基于所述取模计算结果确定各 所述目标分片数据对应的目标服 务器。 5.根据权利要求2所述的方法, 其特征在于, 所述基于分配规则从所述服务器集群 中确 定各所述目标分片数据对应的目标服 务器, 包括: 获取所述目标分片数据的序号以及所述 服务器集群中服 务器的序号; 对所述目标分片数据的序号和所述服务器集群中服务器的序号进行哈希映射, 得到映 射结果; 基于所述映射结果确定各 所述目标分片数据对应的服 务器序号; 将各所述服务器序号对应的服 务器确定为各 所述目标分片数据对应的目标服 务器。 6.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括:权 利 要 求 书 1/2 页 2 CN 114816751 A 2将所述目标分片数据存 储至对应的所述目标服 务器上。 7.根据权利要求6所述的方法, 其特 征在于, 所述方法还 包括: 若所述目标分片数据不存在对应的所述目标服务器, 则为所述服务器集群添加新服务 器; 将所述目标分片数据存储至所述新服务器中, 并将所述新服务器与 所述目标分片数据 对应的目标批量执 行器组之间的对应关系添加至所述第二对应关系中。 8.根据权利要求1所述的方法, 其特 征在于, 所述方法还 包括: 若所述目标分片数据不存在对应的所述目标批量执 行器组, 则添加新批量执 行器组; 将所述目标分片数据与所述新批量执行器组之间的对应关系添加至所述第一对应关 系中; 以及, 将所述 目标分片数据对应的所述 目标服务器与所述新批量执行器组之间的对 应关系添加至所述第二对应关系中。 9.一种服 务器, 其特 征在于, 所述 服务器包括: 处理模块, 用于对待处 理数据进行分片处 理, 得到多个目标分片数据; 确定模块, 用于根据第一对应关系, 确定各所述目标分片数据对应的目标批量执行器 组, 所述第一对应关系包括多个分片数据与多个批量执行器组之间的对应关系, 所述 目标 批量执行器组包括至少两个批量执行器, 所述批量执行器中存储有处理数据的执行逻辑代 码; 确定生成模块, 用于基于分配规则从所述服务器集群中确定各所述目标分片数据对应 的目标服务器, 并生成第二对应关系, 以由所述 目标批量执行器组处理对应的所述 目标服 务器上存储的所述目标分片数据, 所述第二对应关系包括多个目标服务器与多个目标批量 执行器组之间的对应关系。 10.一种服务器, 包括存储器和处理器, 所述存储器存储有计算机程序, 其特征在于, 所 述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。权 利 要 求 书 2/2 页 3 CN 114816751 A 3

.PDF文档 专利 数据处理方法及服务器

文档预览
中文文档 23 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共23页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据处理方法及服务器 第 1 页 专利 数据处理方法及服务器 第 2 页 专利 数据处理方法及服务器 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 07:16:44上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。