(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210219719.9 (22)申请日 2022.03.08 (71)申请人 重庆紫光华山智安科技有限公司 地址 400700 重庆市北碚区云汉大道1 17号 附386号 (72)发明人 万江凯　 (74)专利代理 机构 北京超凡宏宇专利代理事务 所(特殊普通 合伙) 11463 专利代理师 张欣欣 (51)Int.Cl. G06T 1/20(2006.01) G06F 9/445(2018.01) G06F 9/48(2006.01) (54)发明名称 GPU资源管理方法、 调度方法、 装置、 电子设 备及存储介质 (57)摘要 本发明实施例涉及GPU资源管理技术领域， 提供了一种GPU资源管理方法、 调度方法、 装置、 电子设备及存储介质， 所述GPU资源管理方法包 括： 利用管理Pod对工作节点上的GPU卡进行检 测； 若检测到GPU卡， 则利用管理Pod获取工作节 点的GPU资源； 将工作节点的GP U资源发送 至主节 点， 以使主节点对GPU资源进行调度。 本发明实施 例通过利用内置有GPU卡驱动组件的管理Pod自 动对工作节点上的GPU卡进行检测， 并将检测到 的GPU卡的GPU资源发送至主节点， 以便由主节点 对GPU资源进行调度， 从而简化了GP U卡资源的管 理和使用过程， 实现了GPU卡资源的自动管理和 调度。 权利要求书2页 说明书11页 附图9页 CN 114565502 A 2022.05.31 CN 114565502 A 1.一种GPU资源管理方法， 其特征在于， 应用于Kubernetes集群中的工作节点， 所述 Kubernetes集群还包括主节点， 所述主节点与所述工作节点通信 连接， 所述工作节点运行 有管理Pod， 所述管理Pod内置有GPU卡驱动组件， 所述方法包括： 利用所述管理Pod对所述工作节点上的GPU卡进行检测； 若检测到GPU卡， 则 利用所述管理Pod获取 所述工作节点的GPU资源； 利用所述管理Pod将所述工作节点的GPU资源发送至所述主节点， 以使所述主节点对所 述GPU资源进行调度。 2.如权利要求1所述的GPU资源管理方法， 其特 征在于， 所述方法还 包括： 当所述工作节点的GPU卡的工作状态发生变化时， 利用所述管理Pod对所述工作节点上 的GPU卡重新检测； 统计重新检测到的GPU卡的GPU资源， 得到所述工作节点的当前GPU资源； 将所述工作节点的当前GPU资源 同步至所述主节点， 以指示所述主节点对所述工作节 点的GPU资源进行 更新。 3.如权利要求1所述的GPU资源管理方法， 其特征在于， 所述工作节点运行有多个已创 建的应用Pod， 所述方法还 包括： 获取每一所述应用Pod的GPU资源配置； 根据每一所述应用Pod的GPU资源配置， 对所述工作节点的GPU资源进行隔离， 以使每一 所述应用Pod均可获取每一所述应用Pod的GPU资源配置所需的GPU资源。 4.如权利要求1所述的GPU资源管理方法， 其特征在于， 所述检测到的GPU卡为多个， 所 述利用所述管理Pod获取 所述工作节点的GPU资源的步骤 包括： 获取检测到的每一所述GPU卡的GPU资源； 对所有检测到的所述GPU卡的GPU资源进行统计， 得到所述工作节点的GPU资源。 5.一种GPU资源调度方法， 其特征在于， 应用于Kubernetes集群中的主节点， 所述 Kubernetes集群还包括工作节点， 所述工作节点与所述主节点通信连接， 所述工作节点运 行有管理Pod， 所述管理Pod内置有GPU卡驱动组件， 所述方法包括： 接收所述工作节点发送的所述工作节点的GPU资源， 其中， 所述工作节点运行有管理 Pod， 所述工作节点的GPU资源是所述工作节点利用所述管理Pod对所述工作节点上安装的 GPU卡进行检测， 并在检测到GPU卡时利用所述管理Pod获取的； 对所述GPU资源进行调度。 6.如权利要求5所述的GPU资源调度 方法， 其特征在于， 所述工作节点为多个， 所述对所 述GPU资源进行调度的步骤 包括： 接收应用Pod创建命令， 其中， 所述应用Pod创建命令包括待创建应用Pod的GPU资源配 置； 基于所述应用Pod创建命令， 获取每一所述工作节点的GPU资源； 从所有所述工作节点的GPU资源中确定满足所述GPU资源配置的目标GPU资源； 将所述应用Pod调度至所述目标GPU资源所属的目标工作节点， 以使所述目标工作节点 创建并运行 所述待创建应用Pod。 7.如权利要求5所述的GPU资源调度方法， 其特 征在于， 所述方法还 包括： 接收新的工作节点上报的用于申请加入至所述Kubernetes集群的加入请求；权　利　要　求　书 1/2 页 2 CN 114565502 A 2基于所述加入请求， 将所述管理Pod调度至所述新的工作节点， 以使所述新的工作节点 创建并运行所述管理Pod， 并将所述新的工作节点利用所述管 理Pod获取的所述新的工作节 点的GPU资源发送至所述主节点。 8.一种GPU资源管理装置， 其特征在于， 应用于Kubernetes集群中的工作节点， 所述 Kubernetes集群还包括主节点， 所述主节点与所述工作节点通信 连接， 所述工作节点运行 有管理Pod， 所述管理Pod内置有GPU卡驱动组件， 所述装置包括： 管理模块， 用于利用所述管理Pod对所述工作节点上的GPU卡进行检测； 所述管理模块， 还用于若检测到GPU卡， 则利用所述管理Pod获取所述工作节点的GPU资 源； 发送模块， 用于利用所述管理Pod将所述工作节点的GPU资源发送至所述主节点， 以使 所述主节点对所述GPU资源进行调度。 9.一种GPU资源调度装置， 其特征在于， 应用于Kubernetes集群中的主节点， 所述 Kubernetes集群还包括工作节点， 所述工作节点与所述主节点通信连接， 所述工作节点运 行有管理Pod， 所述管理Pod内置有GPU卡驱动组件， 所述装置包括： 接收模块， 用于接收所述工作节点发送的所述工作节点的GPU资源， 其中， 所述工作节 点运行有管理Pod， 所述工作节点的GPU资源是所述工作节点利用所述管理Pod对所述工作 节点上安装的GPU卡进行检测， 并在检测到GPU卡时利用所述管理Pod获取的； 调度模块， 用于对所述GPU资源进行调度。 10.一种电子设备， 其特征在于， 包括处理器和存储器； 所述存储器用于存储程序； 所述 处理器用于在执行所述程序时， 实现如权利要求1 ‑4中任一项所述的GPU资源管理方法， 或 者实现如权利要求5 ‑7中任一项所述的GPU资源调度方法。 11.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被 处理器执行时实现如权利要求1 ‑4中任一项所述的GPU资源管 理方法， 或者 实现如权利要求 5‑7中任一项所述的GPU资源调度方法。权　利　要　求　书 2/2 页 3 CN 114565502 A 3