(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111539145.5 (22)申请日 2021.12.15 (71)申请人 杭州电子科技大 学 地址 310018 浙江省杭州市下沙高教园区2 号大街 (72)发明人 刘鹏　吴自富　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 代理人 朱月芬 (51)Int.Cl. G06F 9/50(2006.01) G06K 9/62(2022.01) G06N 3/08(2006.01) G06N 20/00(2019.01) G06Q 10/04(2012.01) (54)发明名称 工业物联网环境下固定路径AGV的任务卸载 优化方法 (57)摘要 本发明公开了一种工业物联网环境下固定 路径AGV任务卸载优化方法。 本发明基于传统的 无模型基于值函数更新的强化学习方法， 针对 AGV协助边缘计算场景下的任务卸载调度问题作 了优化， 在此基础上结合负载均衡算法与改进的 DQN算法。 最终在任务处理时延敏感以及路径、 效 率等的约束下， 实现了物联网环境下多AGV多服 务器节点卸载处理时间最短最优的问题。 本发明 的方法不需要过多的先验知识， 近距离的任务卸 载传输， 符合数据安全的需求， 并且本发明在类 似的应用场景有着较好的复用性， 发 明的实践价 值较强。 权利要求书3页 说明书7页 附图1页 CN 114201303 A 2022.03.18 CN 114201303 A 1.工业物联网环境下固定路径 AGV的任务卸载优化方法， 其特 征在于， 包括以下步骤： 步骤一、 多个AGV分别从给定的起点按照规划好的路径行驶， 在行驶的过程中会经过多 个边缘服务器进 行任务卸载， 在每个AGV到达目标点时任务均卸载完成， 当边缘服务器处理 完所有卸载任务时， 任务 流程结束； 对此场景进行建模； 步骤二、 为了使整个任务卸载处理所消耗总时间最短， 对该模型进行两阶段处理： 第一 阶段忽略多个AGV 竞争造成的资源冲突问题， 求出各个AGV在多个边缘服务器处的最优卸载 方案； 第二阶段在第一阶段的基础上， 对造成资源冲突部 分的节点进 行优化处理， 解决资源 冲突问题， 从而达 到整体最优结果； 步骤三、 首先对AGV的任务卸载进行第一阶段处理； 忽略多个AGV卸载造成的资源冲突 问题， 各AGV在经过的边缘服务器处卸载的任务量则与边缘服务器的处理效率、 容量以及到 达该边缘服务器的时间有关； 采用加权轮询的负载均衡算法， 根据上述条件对各个AGV进 行 资源分配； 步骤四、 第二阶段对第一阶段造成资源冲突的节点进行处理； 对造成冲突的边缘服务 器节点与AGV构建马尔可夫模 型， 初始化状态空间为多个AGV携带的任务量， 动作空间为AGV 在边缘服务器节点的卸 载量， 执行该动作得到的奖励则为处理该任务量的倒数， 考虑到各 个AGV到达边缘服务器节点的时间不同， 因此每 个AGV会有一个卸载优先级； 步骤五、 将应用场景里的限制条件设置为强化学习的小目标， 将最终调度处理后得到 的总时间尽可能小作为大目标， 大目标在小目标的基础上实现； 步骤六、 强化学习方法的训练周期开始时， 智能体从马尔可夫模型的起始状态出发， 根 据改进的策略为智能体选择下一步动作， 智能体做出动作选择后会抵达下一个环境状态， 环境状态会根据当前 特征给予对应的奖励； 步骤七、 在AGV的任务卸载的训练过程中， 通过使用一个固定容量的经验池， 充分利用 off‑policy的优势， 从而打乱样本关联性、 提高样本的利用率； 步骤八、 算法最大训练周期到达时停止训练， 输出训练收敛的最大累积奖励， 并且得到 最优的任务卸载 策略。 2.根据权利要求1所述的工业物联网环境下固定路径AGV的任务卸载优化方法， 其特征 在于， 两阶段处 理方案中， 第二阶段的深度强化学习的状态用 表示， 其中向量 表示AGV在第i个公共节点处的 任务状态； 动作空间则为各个AGV在资源冲突节点的任务卸载量。 3.根据权利要求1所述的工业物联网环境下固定路径AGV的任务卸载优化方法， 其特征 在于， 任务的完成时间由三部 分组成： AGV的移动时间、 AGV向边缘服务器卸载任务的卸载时 间以及边 缘服务器的处 理时间； 其中AGV从起 点到第i个边 缘服务器的时间为： 而AGV向边 缘服务器卸载任务的时间为： 权　利　要　求　书 1/3 页 2 CN 114201303 A 2其中si表示任务的卸载速率： si＝Wlog(1+pgi/N0) 边缘服务器的处 理时间即为： 由此推出加权轮询的负载均衡算法分配的任务 量为： 其中Task和AR分别为初始分配量和剩余分配量： 4.根据权利要求1所述的工业物联网环境下固定路径AGV的任务卸载优化方法， 其特征 在于， AGV到达各个边缘服务器的时间不同， 考虑到边缘服务器的处理能力， 因此AGV在选择 动作时有不同的卸载优先级； 因此， 对应的奖励设置如下： 其中 表示t时刻第i个AGV在边缘服务器的卸载优先级； 表示t时刻第i个AGV在边缘 服务器的卸载量； Et表示该边 缘服务器的处 理效率。 5.根据权利要求4所述的工业物联网环境下固定路径AGV的任务卸载优化方法， 其特征 在于， 智能体获得的总回报不仅要考虑当前奖励， 还要考虑未来的长期奖励， 且间隔的时间 越远， 获取的未来奖励值越不 准确， 因此累计回报可以表示 为： 其中γ为折扣因子， 使用折扣因子让间隔时间越久的奖励值在当前回报中所占比重越 小。 6.根据权利要求1所述的工业物联网环境下固定路径AGV的任务卸载优化方法， 其特征 在于， 步骤六中智能体从一个状态到达另一个状态的过程中会产生一个学习经验在经验池 中， 它包括上一个状态的特征、 选择 的动作、 获得的奖励以及下一个状态； 智能体根据经验 池中已有的过去的经验进行 学习， 最终AGV卸载完成进入结束状态， 开始下一个训练周期。 7.根据权利要求1 ‑6中任意一项所述的工业物联网环境下固定路径AGV的任务卸载优 化方法， 其特 征在于， AGV在卸载调度过程中 需要遵守以下限制： a)AGV选择卸载的节点必须 是AGV路径中覆盖 到的边缘服务器节点； b)AGV在经过边缘服务器节点时可以选择卸载或者不卸载， 当服务器节点所接受的任 务达到容量上限时将拒绝接受AGV卸载任务； c)AGV携带的任务在到达目标点时必须卸载完毕， 并且所有AGV携带的任务处理完成的权　利　要　求　书 2/3 页 3 CN 114201303 A 3