(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210435749.3 (22)申请日 2022.04.24 (71)申请人 新奥新智科技有限公司 地址 065000 河北省廊坊市中国(河北)自 由贸易试验区大兴机场片区廊坊临空 经济区航谊道自贸区科创基地2101 (72)发明人 陈璋　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 张娜 (51)Int.Cl. G06F 9/50(2006.01) G06F 16/27(2019.01) (54)发明名称 实时数据同步平台的底层资源调度方法、 装 置及电子设备 (57)摘要 本申请涉及实时数据调度技术领域， 特别涉 及一种实时数据同步平台的底层资源调度方法、 装置及电子设备， 其中， 方法包括： 识别多个同步 任务的实际动态； 根据每个同步任务的实际动态 预估每个同步任务的目标需求资源； 以及根据每 个同步任务的目标需求资源匹配每个同步任务 的最佳分配资源， 并基于最佳分配 资源得到实时 数据同步平台的资源调度策略。 由此， 解决了每 个同步任务中分配到的计算资源不合理从而造 成资源的浪费和同步任务失败等问题， 根据不同 的同步任务动态预测申请底层资源， 避免资源浪 费， 提高资源利用率， 并减少人工运维和操作的 工作量， 从而保障实时数据同步平台高稳定性运 行。 权利要求书2页 说明书7页 附图2页 CN 114968555 A 2022.08.30 CN 114968555 A 1.一种实时数据同步平台的底层资源调度方法， 其特 征在于， 包括以下步骤： 识别多个同步任务的实际动态； 根据每个同步任务的实际动态预估所述每 个同步任务的目标需求资源； 以及 根据所述每个同步任务的目标需求资源匹配所述每个同步任务的最佳分配资源， 并基 于所述最佳分配资源得到实时数据同步平台的资源调度策略。 2.根据权利要求1所述的方法， 其特征在于， 所述根据每个同步任务的实际动态预估所 述每个同步任务的目标需求资源， 包括： 获取所述每个同步任务的所需 内存和实际CPU资源； 基于所述所需内存和实际CPU资源计算所述每个同步任务的数据源的初始数据量， 并 预期进入所述数据源的吞吐量； 基于所述数据量的记录结果评估所述目标需求资源。 3.根据权利要求2所述的方法， 其特征在于， 所述根据每个同步任务的实际动态预估所 述每个同步任务的目标需求资源， 还 包括： 检测所述每 个同步任务的任务类型； 在检测到所述任务类型为多表关联同步类型时， 基于对应的关联表 的UDF函数的复杂 度和多表产生的计算节点个数和/或平行度修 正所述目标需求资源。 4.根据权利要求1所述的方法， 其特 征在于， 还 包括： 将所述每 个同步任务分配对应的任务 容器； 5.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 在执行所述资源调度策略时， 包 括： 检测到任一同步任务启动时， 根据 所述资源调度 策略中的最佳分配资源生成资源申请 指令； 根据所述资源申请指令向工作集群申请或释放对应资源。 6.一种实时数据同步平台的底层资源调度装置， 其特 征在于， 包括： 识别模块， 用于识别多个同步任务的实际动态； 预估模块， 用于根据每个同步任务的实际动态预估所述每个同步任务的目标需求资 源； 以及 调度模块， 用于根据 所述每个同步任务的目标需求资源匹配所述每个同步任务的最佳 分配资源， 并基于所述 最佳分配资源得到实时数据同步平台的资源调度策略。 7.根据权利要求6所述的装置， 其特 征在于， 所述预估 模块， 具体用于： 获取所述每个同步任务的所需 内存和实际CPU资源； 基于所述所需内存和实际CPU资源计算所述每个同步任务的数据源的初始数据量， 并 预期进入所述数据源的吞吐量； 基于所述数据量的记录结果评估所述目标需求资源。 8.根据权利要求7 所述的装置， 其特 征在于， 所述预估 模块， 还用于： 检测所述每 个同步任务的任务类型； 在检测到所述任务类型为多表关联同步类型时， 基于对应的关联表 的UDF函数的复杂 度和多表产生的计算节点个数和/或平行度修 正所述目标需求资源。 9.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所权　利　要　求　书 1/2 页 2 CN 114968555 A 2述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑5任一项所 述的实时数据同步平台的底层资源调度方法。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑5任一项所述的实时数据同步平台的底层资源调度方法。权　利　要　求　书 2/2 页 3 CN 114968555 A 3