行业标准网
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211262636.4 (22)申请日 2022.10.14 (71)申请人 平凯星辰 (北京) 科技有限公司 地址 100192 北京市海淀区西小口路6 6号 中关村东升科技园 ·北领地C-1楼2层 207 (72)发明人 孙若曦 徐飞 耿立琪 刘奇  黄东旭 崔秋  (74)专利代理 机构 北京市立方律师事务所 11330 专利代理师 张筱宁 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/21(2019.01) G06F 16/2453(2019.01)G06F 16/27(2019.01) (54)发明名称 数据处理方法、 装置、 电子设备及存 储介质 (57)摘要 本申请实施例提供了一种数据处理方法、 装 置、 电子设备及存储介质, 涉及数据库技术领域。 该方法包括: 接收数据查询请求, 并确定数据查 询请求对应的目标数据表; 从多个重分布索引中 确定与目标数据表对应的目标索引; 其中, 重分 布索引中的数据是基于重分布索引的索引列分 布存储在分布式数据库中的; 当针对 数据查询请 求的操作指向目标索引的索引列时, 根据目标索 引, 对原始执行计划进行优化, 生成目标执行计 划; 针对数据查询请求的操作包括单表聚合操作 和/或多表关联操作; 运行目标执行计划, 得到数 据查询请求对应的查询结果。 本申请实施例实现 了查询优化, 减少了跨节点的数据交换操作, 提 高了数据处理的效率, 提升整个分布式数据库的 性能。 权利要求书2页 说明书14页 附图2页 CN 115422205 A 2022.12.02 CN 115422205 A 1.一种数据处 理方法, 其特 征在于, 包括: 接收数据查询请求, 并确定所述数据查询请求对应的目标 数据表; 从多个重分布索引中确定与所述目标数据表对应的目标索引; 其中, 所述重分布索引 中的数据是基于所述重分布索引的索引列分布存 储在分布式数据库中的; 当针对所述数据查询请求的操作指向所述目标索引的索引列时, 根据所述目标索引, 对原始执行计划进行优化, 生成目标 执行计划; 针对所述数据查询请求的操作包括单表聚合操作和/或多表关联操作; 运行所述目标 执行计划, 得到所述数据查询请求对应的查询结果。 2.根据权利要求1所述的数据处 理方法, 其特 征在于, 所述方法还 包括: 将待查询数据表中的至少一列 作为索引列; 基于所述索引列, 建立所述重分布索引; 其中, 所述重分布索引包含对应的待查询数据 表的所有行和所有列, 所述重分布索引包括多个数据桶, 且所述数据桶包括的所有数据行 的索引值相同; 确定所述重分布索引所属的同分布 组; 所述同分布组包括多个索引列 数据分布相同的 重分布索引。 3.根据权利要求2所述的数据处理方法, 其特征在于, 所述同分布组中索引值相同的数 据桶存储于同一数据库 节点; 所述同分布组中的索引值相同的数据桶在发生数据调 度时作 为一个整体进行迁移。 4.根据权利要求1所述的数据处理方法, 其特征在于, 针对所述数据查询 请求的操作包 括单表聚合操作; 所述根据所述重分布索引, 对原 始执行计划进行优化, 包括: 确定参与所述单表聚合操作的聚合数据表, 并从所述多个重分布索引中确定与所述 聚 合数据表对应的第一索引; 若所述单表聚合操作所指定的分组列包含所述第一索引的索引列, 则扫描第一索引, 并删除所述原 始执行计划中的跨节点数据交换算子 。 5.根据权利要求1所述的数据处理方法, 其特征在于, 针对所述数据查询 请求的操作包 括多表关联操作; 所述根据所述重分布索引, 对原 始执行计划进行优化, 包括: 确定参与所述多表关联操作的至少两个关联数据表, 并从所述多个重分布索引中确定 与所述关联 数据表对应的第二索引; 若所述多表关联操作 所指定的关联列包含每一第 二索引的索引列, 且每一第 二索引所 属同一个同分布组, 则扫描每一第二索引, 并删除所述原始执行计划中的跨节点数据 交换 算子。 6.根据权利要求5所述的数据处 理方法, 其特 征在于, 所述方法还 包括: 若至少存在一个满足预设条件的第 一关联数据表, 且至少存在一个不满足预设条件的 第二关联数据表, 则扫描所述第一关联数据表对应的重分布索引, 消除所述第一关联数据 表对应的跨节点数据 交换算子, 并扫描所述第二关联数据表, 保留所述第二关联数据表对 应的跨节点数据交换算子; 其中, 所述预设条件为所述关联数据表存在与其对应的重分布索引, 且所述多表关联权 利 要 求 书 1/2 页 2 CN 115422205 A 2操作所指定的关联列包 含所述关联 数据表对应的重分布索引的索引列。 7.根据权利要求1至 6中任一项所述的数据处 理方法, 其特 征在于, 所述方法还 包括: 当所述分布式数据库中发生数据调度时, 维持所述多个重分布索引不变; 当所述分布式数据库中数据调度结束时, 更新所述多个重分布索引。 8.一种数据处 理装置, 其特 征在于, 包括: 目标数据表确定模块, 用于接收数据查询请求, 并确定所述数据查询请求对应的目标 数据表; 目标索引确定模块, 用于从多个重分布索引中确定与所述目标数据表对应的目标索 引; 其中, 所述重分布索引中的数据是基于所述重分布索引的索引列分布存储在分布式数 据库中的; 优化模块, 用于当针对所述数据查询请求的操作指向所述目标索引的索引列时, 根据 所述目标索引, 对原始执行计划进行优化, 生 成目标执行计划; 针对 所述数据查询请求的操 作包括单表聚合操作和/或多表关联操作; 执行模块, 用于运行 所述目标 执行计划, 得到所述数据查询请求对应的查询结果。 9.一种电子设备, 包括存储器、 处理器及存储在存储器上的计算机程序, 其特征在于, 所述处理器执行所述计算机程序以实现权利要求1至7中任一项所述方法的步骤。 10.一种计算机可读存储介质, 其上存储有计算机程序, 其特征在于, 所述计算机程序 被处理器执行时实现权利要求1至7中任一项所述方法的步骤。权 利 要 求 书 2/2 页 3 CN 115422205 A 3

.PDF文档 专利 数据处理方法、装置、电子设备及存储介质

文档预览
中文文档 19 页 50 下载 1000 浏览 0 评论 309 收藏 3.0分
温馨提示:本文档共19页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 数据处理方法、装置、电子设备及存储介质 第 1 页 专利 数据处理方法、装置、电子设备及存储介质 第 2 页 专利 数据处理方法、装置、电子设备及存储介质 第 3 页
下载文档到电脑,方便使用
本文档由 人生无常 于 2024-03-18 11:35:48上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。