(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210431141.3 (22)申请日 2022.04.22 (71)申请人 中国科学院信息 工程研究所 地址 100093 北京市海淀区闵庄路甲89号 (72)发明人 刘帆　朱蔚林　木伟民　张云　 李名扬　王伟平　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 余长江 (51)Int.Cl. G06F 9/50(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 基于算子作用域动态感知的弹性资源分配 方法及装置 (57)摘要 本发明公开了一种基于算子作用域动态感 知的弹性资源分配方法及装置。 所述方法包括： 构建数据流处理应用的有向无环图， 所述有向无 环图中的节 点表示处理数据流的算子， 边表示数 据流； 根据算子的静态筛选率指标和动态筛选率 统计指标来评估 上游算子的作用域， 自适应地将 有向无环图进行分区。 预测每个分区未来一段时 间的负载； 针对每个所述分区中的各算子， 基于 所述负载生成相应数量的算子实例， 以对所述接 收数据进行实时处理， 满足服务质量要求。 本发 明以分区为单位规划算子的并行性， 从而保证端 到端处理延迟， 提升资源利用率。 权利要求书2页 说明书5页 附图1页 CN 115016928 A 2022.09.06 CN 115016928 A 1.一种基于算子作用域动态感知的弹性资源分配方法， 其 步骤包括： 构建数据流处理应用的有向无环图， 所述有向无环图中的节点表示处理数据流的算 子， 边表示数据流； 根据算子的静态筛选率指标和动态筛选率统计指标来评估上游算子的作用域， 自适应 地将有向无环图进行分区。 预测每个分区未来 一段时间的负载； 针对每个所述分区中的各算子， 基于所述负载生成相应数量的算子实例， 以对所述接 收数据进行实时处 理， 满足服 务质量要求。 2.如权利要求1所述的方法， 其特征在于， 所述根据算子的静态筛选率指标和动态筛选 率统计指标来评估上游算子的作用域， 自适应地将DAG图进行分区， 包括： 根据算子的处理逻辑进行理论上输出速率与总输入速率的比值推断， 得到静态筛选 率； 收集动态筛 选率指标； 在启动阶段， 根据所述静态筛选率将算子分成初始稳定算子集合与初始不稳定算子集 合； 将初始不稳定算子集合中算子的下游算子的所有输入边截断， 并将所有相连的子图聚 合， 得到所述有向无环图的初始分区； 在运行阶段， 根据所述动态筛选率指标更新稳定集合和不稳定集合， 以再次进行所述 有向无环图的分区。 3.如权利要求1所述的方法， 其特征在于， 所述在线预测每个分区未来一段时间的负 载， 包括： 构建训练数据集， 所述训练数据集 为每个分区的历史输入数据负载； 基于所述训练数据集对元学习模型进行学习， 得到每一分区的在线负载预测模型， 其 中， 所述元 学习模型包括： MLP基础学习器和LSTM元 学习器； 将所述历史负载输入在线负载 预测模型， 得到所述未来 一段时间的负载。 4.如权利要求3所述的方法， 其特征在于， 所述基于所述训练数据集对元学习 模型进行 学习， 包括： 将所述历史输入数据负载输入所述MLP基础学习器； 所述MLP基础学习器按损失函数和损失函数的梯度， 输入到LSTM元学习器中用于更新 所述LSTM元学习器细胞状态； LSTM元学习器更新MLP基础学习器的初始值。 5.如权利要求1所述的方法， 其特征在于， 所述针对每个所述分区中的各算子， 基于所 述负载生成相应数量的算子实例， 以对所述接收数据进行处 理， 满足服 务质量要求， 包括： 收集每个分区的负载指标和每 个分区中满足负载处 理要求算子的并行度指标； 基于所述负载指标与并行度指标进行有监督的机器学习， 得到每一分区的算子并行度 规划模型； 将所述负载输入所述算子并行度规划模型， 得到所述分区中每一算子的算子实例数 量， 以对所述接收数据进行实时处 理， 满足服 务质量要求。 6.如权利要求5所述的方法， 其特 征在于， 所述机器学习的方法包括： 随机森林。权　利　要　求　书 1/2 页 2 CN 115016928 A 27.一种基于算子作用域动态感知的弹性资源分配装置， 包括： 图构建模块， 用于构建数据流处理应用的有向无环图， 所述有向无环图中的节点表示 处理数据流的算子， 边表示数据流； 自适应算子分区模块， 用于根据算子的静态筛选率指标和动态筛选率统计指标来评估 上游算子的作用域， 自适应地将有向无环图进行分区； 在线负载 预测模块， 用于预测每 个分区未来 一段时间的负载； 算子并行度规划模块， 用于针对每个所述分区中的各算子， 基于所述负载生成相应数 量的算子实例， 以对所述接收数据进行实时处 理， 满足服 务质量要求。 8.一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程序被处理器执行 时实现权利要求1 ‑6任一所述方法。 9.一种计算机设备， 所述计算机设备包括存储器和处理器， 所述存储器中存储有计算 机程序， 所述计算机程序由所述处 理器加载并执 行， 以实现权利要求1 ‑6任一所述方法。 10.一种计算机程序产品， 当所述计算机程序产品在计算机设备上运行时， 使得计算机 设备执行权利要求1 ‑6任一所述方法。权　利　要　求　书 2/2 页 3 CN 115016928 A 3