(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211292254.6 (22)申请日 2022.10.21 (71)申请人 北京奥星贝斯科技有限公司 地址 100102 北京市朝阳区望京东园四区 13号楼-4至 33层101内23层201室 (72)发明人 高思远　赵赛铜　陈嘉华　涂云山　 (74)专利代理 机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 专利代理师 陈霁　周良玉 (51)Int.Cl. G06F 16/22(2019.01) (54)发明名称 数据存储方法及装置 (57)摘要 本说明书实施例提供一种数据存储方法和 装置， 存储方法包括， 执行n个并行任务， 其中任 意并行任务包括， 生成多个数据块以及对应的索 引指示信息， 索引指示信息指示多个数据块在磁 盘中存储位置的第一索引记录。 基于此执行合并 任务， 其中包括， 基于n个并行任务输出的索引指 示信息， 建立具有层级索引结构的索引树， 在内 存中存储所述索引树的根索引块； 其中， 在所述 层级索引结构中， 非底层索引块中存储其低一层 索引块在磁盘中存储位置的索引记录； 所述索引 树的底层索引块存 储所述第一索引记录 。 权利要求书3页 说明书12页 附图5页 CN 115374127 A 2022.11.22 CN 115374127 A 1.一种数据存 储方法， 包括： 执行n个并行任务， 其中任意并行任务包括， 生成多个数据块以及对应的索引指示信 息， 所述索引指示信息指示所述多个数据块在磁 盘中存储位置的第一索引记录； 执行合并任务， 其中包括， 基于所述n个并行任务输出的索引指示信息， 建立具有层级 索引结构的索引树， 在内存中存储所述索引树的根索引块； 其中， 在所述层级索引结构 中， 非底层索引块中存储其低一层索引块在磁盘中存储位置的索引记录； 所述索引树的底层索 引块存储所述第一索引记录 。 2.根据权利要求1所述的方法， 其中， 在执 行多个并行任务之前， 还 包括： 按照主键值将有待存储的目标数据表划分为与所述n个并行任务对应的n个数据区间； 所述多个数据块是 所述任意并行任务对应的数据区间中的数据块。 3.根据权利要求1所述的方法， 其中， 生成多个数据块以及对应的索引指示信息， 包括： 在生成多个数据块的过程中， 建立预设层数H、 具有所述层级索引结构的子树， 并导出 所述子树的第一 根索引块作为所述索引指示信息； 建立具有层级索引结构的索引树， 包括： 基于所述n个并行任务输出的n个第一根索引块， 建立合并树， 至少基于所述合并树形 成所述索引树。 4.根据权利要求3所述的方法， 其中， 所述多个数据块包括任意的第一数据块； 在生成 多个数据块的过程中， 建立预设层数H、 具有层级索引结构的子树， 包括： 生成第一数据块， 并根据所述第一数据块在磁 盘中的存 储位置生成第一索引记录； 将所述第一索引记录写入内存中存 储的所述子树的底层 索引块。 5.根据权利要求4所述的方法， 其中， 建立预设层数H、 具有层级索引结构的子树， 还包 括： 在所述第一根索引块未写满的情况下， 从底层 向上， 分别将内存中所述子树的除第一 根索引块的各已有层索引块作为 目标索引块执行第一操作， 所述第一操作包括， 若目标索 引块达到第一阈值， 将其中的索引记录转存至磁盘， 并根据转存位置生成第二索引记录； 将 所述第二索引记录存储至所述目标索引块的高一层级索引块， 并清空目标索引块的内存空 间。 6.根据权利要求5所述的方法， 其中， 将所述第 二索引记录存储至所述目标索引块的高 一层级索引块， 包括： 判断内存中是否存在所述目标索引块的高一层级索引块， 若不存在， 创建该高一层级 索引块， 并将所述第二索引记录存 储至该高一层级索引块中。 7.根据权利要求3所述的方法， 其中， 导出 所述子树的第一 根索引块， 包括： 依次将从底层到第H ‑1层的各层索引块作为目标索引块执行第二操作， 所述第二操作 包括， 将目标索引块中的索引记录转存至磁盘， 并根据转存位置生成第三索引记录； 将所述 第三索引记录存 储至所述目标索引块的高一层级索引块； 输出执行所述第二操作后的第一 根索引块。 8.根据权利要求3所述的方法， 其中， 基于所述n个并行任务输出的n个第一根索引块， 建立合并树， 包括：权　利　要　求　书 1/3 页 2 CN 115374127 A 2将所述n个第一根索引块进行排序； 从排序后的n个第一根索引块中， 依次读取索引记录， 将其写入内存中存储的所述合并 树的底层 索引块； 从底层向上， 分别将内存中所述合并树的各已有层索引块作为目标索引块执行第 三操 作， 所述第三操作包括， 若目标索引块达到第二阈值， 将其中的索引记录转存至磁盘， 并根 据转存位置生成第四索引记录； 将所述第四索引记录存储至所述目标索引块的高一层级索 引块， 并清空目标索引块的内存空间； 响应于所述n个第一根索引块中所有索引记录写入完毕， 导出内存中存储的所述合并 树的最高层 索引块， 作为所述索引树的根索引块。 9.根据权利要求8所述的方法， 其中， 所述n个并行任务对应于目标数据表按照主键值 划分的n个数据区间； 将所述n个第一根索引块进行排序， 包括： 根据n个并行任务对应的n个数据区间的主键 值大小顺序， 对所述 n个第一根索引块进行排序。 10.根据权利要求8所述的方法， 其中， 导出内存中存储的所述索引总树的最高层索引 块， 包括： 从底层向上， 依次将内存中所述合并树的除最高层 之外的各已有层索引块作为目标索 引块执行第四操作， 所述第四操作包括， 将目标索引块中的索引记录转存至磁盘， 并根据转 存位置生成第五索引记录； 将所述第五索引记录存储至所述目标索引块的高一层级索引 块； 输出执行所述第四操作后的所述 合并树的最高层 索引块。 11.根据权利要求1所述的方法， 其中， 生成多个数据块以及对应的索引指示信息， 包 括： 每生成一个数据块， 根据该数据块在磁盘中的存储位置生成对应的第一索引记录， 存 储于内存中； 内存中存 储的所述多个数据块的多条第一索引记录构成所述索引指示信息 。 12.根据权利要求1 1所述的方法， 其中， 建立具有层级索引结构的索引树， 包括： 将所述索引指示信息中的各 条第一索引记录， 依次写入索引树的底层 索引块； 从底层向上， 分别将各已有层索引块作为目标索引块执行目标操作， 所述目标操作包 括， 若目标索引块达到预设阈值， 根据目标索引块在磁盘的存储位置生成第六索引记录， 将 所述第六索引记录存 储至所述目标索引块的高一层级索引块； 响应于所述索引指示信 息中所有索引记录写入完毕， 导出所述索引树的最高层索引块 作为根索引块。 13.根据权利要求1所述的方法， 其中， 生成多个数据块以及对应的索引指示信息， 包 括： 在生成所述多个数据块之后， 根据 各个数据块在磁盘中的存储位置生成对应的多条第 一索引记录； 根据多条第 一索引记录， 生成具有所述层级索引结构的索引子树作为所述索引指示信 息， 所述索引子树的底层 索引块用于记录所述多条第一索引记录 。 14.根据权利要求13所述的方法， 其中， 建立具有层级索引结构的索引树， 包括： 合并所 述n个并行任务对应的n个索引子树， 得到所述索引树。权　利　要　求　书 2/3 页 3 CN 115374127 A 3