(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211513575.4 (22)申请日 2022.11.30 (71)申请人 阿里云计算有限公司 地址 310024 浙江省杭州市西湖区转塘科 技经济区块12号 (72)发明人 王奇　贾扬清　姜伟华　蒋光然　 周彪　朱展延　杨源秦　 (74)专利代理 机构 北京展翼知识产权代理事务 所(特殊普通 合伙) 11452 专利代理师 屠长存 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/28(2019.01) (54)发明名称 数据处理方法和数据处 理系统 (57)摘要 本公开涉及一种数据处理方法和数据处理 系统。 该数据处理系统括： 多个计算组， 各计算组 的计算资源相互隔离。 具有写入功能的计算组维 护第一内存表， 具有写入功能的计算组被配置为 将要写入数据存储器的数据写入第一内存表， 并 将第一内存表中的数据写入数据存储器中与第 一内存表对应的物理表。 各计算组还分别维护至 少一个第二内存表， 各第二内存表分别对应于具 有写入功能的其它计算组中的第一内存表。 计算 组被配置为使第二内存表与其所对应的第一内 存表同步。 由此， 本公开的数据处理系统能够在 用于各种场景或任务的计算组共享数据的情况 下， 方便而又灵活地实现计算资源的隔离 。 权利要求书3页 说明书12页 附图2页 CN 115544025 A 2022.12.30 CN 115544025 A 1.一种数据处 理系统， 包括： 多个计算组， 各计算组的计算资源相互隔离， 其中， 具有写入功能的计算组维护第一内存表， 所述具有写入功能的计算组被配置为 将要写入数据存储器的数据写入第一内存表， 并将第一内存表中的数据写入数据存储器中 与第一内存表对应的物理表； 并且 各计算组还分别维护 至少一个第 二内存表， 各第 二内存表分别对应于具有写入功能的 其它计算组中的第一内存表， 并且所述计算组被配置为使 所述第二内存表与其所对应的第 一内存表同步。 2.根据权利要求1所述的数据处 理系统， 还 包括： 网关， 用于将任务请求分配到与所述任务请求对应的计算组； 以及/或者 元数据存储器， 用于管理数据存储器中的物理表的元数据， 并为所述多个计算组提供 元数据服务， 所述多个 计算组共享所述元 数据； 以及/或者 数据存储器， 用于存 储所述物理表。 3.根据权利要求2所述的数据处理系统， 其中， 所述元数据存储器还用于管理计算组配 置信息， 该系统还包括数据引擎控制器， 用于响应于用户的指 令或任务请求的数量， 执行下 述至少一项操作： 创建计算组， 并将计算组配置信息存 储在所述元 数据存储器中； 基于元数据存储器中的计算组配置信息启用新的计算组以执 行相应的数据处 理； 挂起计算组， 使其 不再执行数据处理； 销毁计算组， 释放分配给 该计算组的计算资源； 调整分配给计算组的计算资源； 调整分配给计算组中各计算子组的计算资源； 以及 在计算组中增加或减少计算子组， 其中， 各计算子组的计算资源相互隔离， 且分别维护 第一内存表和/或第二内存表。 4.根据权利要求1所述的数据处 理系统， 其中， 所述物理表以行列并存的方式存储数据， 通过一个写任务将同一数据对应的行数据和 列数据写入同一个物理表中， 以保证同一数据对应的行数据写入操作和列数据写入操作的 原子性。 5.根据权利要求1所述的数据处 理系统， 其中， 所述计算组包括下述至少一种： 用于离线写入的计算组； 用于实时写入的计算组； 用于提供 数据查询服 务的计算组； 以及 用于提供 数据分析服 务的计算组。 6.根据权利要求1所述的数据处 理系统， 其中， 具有写入功能的计算组维护多个第一内存表， 对应于数据存 储器上多个物理表； 各计算组中维护相应数量的第 二内存表， 以与 具有写入功能的其它计算组中的多个第 一内存表相对应。 7.根据权利要求1所述的数据处 理系统， 其中， 响应于计算组不可用， 在存在执行相同任务的其它计算组的情况下， 将指向不可用计权　利　要　求　书 1/3 页 2 CN 115544025 A 2算组的任务请求转为指向执行相同任务的计算组， 或者基于元数据存储器中不可用计算组 的计算组配置信息， 启用新的计算组， 以执 行相应任务请求； 并且/或者 响应于计算组内计算子组不可用， 在计算组内创建新的计算子组和/或将指向不可用 计算子组的任务请求切换到计算组内其它计算子组； 并且/或者 响应于计算组内计算节点不可用， 将指向不可用计算节点的任务请求切换到计算组内 其它计算节点， 并在所述其它计算节点上重新构建所述不可用计算节点上原有的第一内存 表和/或第二内存表。 8.一种数据处 理方法， 包括： 提供多个 计算组， 各计算组的计算资源相互隔离； 具有写入功能的计算组维护第一内存表； 所述具有写入功能的计算组将要写入数据存储器的数据写入第 一内存表， 并将第 一内 存表中的数据写入数据存 储器中与第一内存表对应的物理表； 各计算组还分别维护 至少一个第 二内存表， 各第 二内存表分别对应于具有写入功能的 其它计算组； 以及 使所述第二内存表与其对应的计算组中的第一内存表同步。 9.根据权利要求8所述的数据处理方法， 还包括： 响应于用户的指令或任务请求的数 量， 执行下述至少一项操作： 创建计算组， 并将计算组配置信息存 储在所述元 数据存储器中； 基于元数据存储器中的计算组配置信息启用新的计算组以执 行相应的数据处 理； 挂起计算组， 使其 不再执行数据处理； 销毁计算组， 释放分配给 该计算组的计算资源； 调整分配给计算组的计算资源； 调整分配给计算组中各计算子组的计算资源； 以及 在计算组中增加或减少计算子组， 其中， 各计算子组的计算资源相互隔离， 且分别维护 第一内存表和/或第二内存表。 10.根据权利要求9所述的数据处 理方法， 其中， 在所述物理表中以行列并存的方式存储数据， 通过一个写任务将同一数据对应的行数 据和列数据写入同一个物理表中， 以保证同一数据对应的行数据写入操作和列数据写入操 作的原子性。 11.根据权利要求8所述的数据处 理方法， 还 包括： 响应于计算组不可用， 在存在执行相同任务的其它计算组的情况下， 将指向不可用计 算组的任务请求转为指向执行相同任务的计算组， 或者基于元数据存储器中不可用计算组 的计算组配置信息， 启用新的计算组， 以执 行相应任务请求； 并且/或者 响应于计算组内计算子组不可用， 在计算组内创建新的计算子组和/或将指向不可用 计算子组的任务请求切换到计算组内其它计算子组； 并且/或者 响应于计算组内计算节点不可用， 将指向不可用计算节点的任务请求切换到计算组内 其它计算节点， 并在所述其它计算节点上重新构建所述不可用计算节点上原有的第一内存 表和/或第二内存表。 12.一种计算设备， 包括：权　利　要　求　书 2/3 页 3 CN 115544025 A 3