(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211262611.4 (22)申请日 2022.10.14 (71)申请人 宁波大学 地址 315211 浙江省宁波市江北区风 华路 818号 (72)发明人 秦伟　陈海明　王磊　 (74)专利代理 机构 北京维昊知识产权代理事务 所(普通合伙) 11804 专利代理师 李波　孙新国 (51)Int.Cl. H04L 67/12(2022.01) H04L 41/0893(2022.01) H04L 41/14(2022.01) H04L 47/76(2022.01) H04L 47/783(2022.01) (54)发明名称 工业物联网任务卸载方法、 系统、 设备及存 储介质 (57)摘要 本披露公开了一种工业物联网任务卸载方 法、 系统、 设备及存储介质。 该方法包括： 响应于 工业物联网设备发出的任务卸载请求， 获取工业 物联网的应用任务； 利用PASD模型根据应用任务 确定卸载操作； 卸载操作中包含有卸载决策和资 源分配决策； 将卸载操作发送至工业物联网设 备； 其中， PASD模型中包含有Dueling  DQN模型， Dueling DQN模型输出的Q值所对应的奖励为任 务平均完成时间和系统总能耗的加权和的负值， Q值为Dueling  DQN模型执行卸载操作所对应的 动作价值； PASD模型输出最大Q值所对应的卸载 操作作为确定的卸载操作。 通过如上工业物联网 任务卸载方法能够在卸载任务时兼顾任务卸载 效率和资源分配 。 权利要求书3页 说明书15页 附图4页 CN 115529335 A 2022.12.27 CN 115529335 A 1.一种工业物联网任务卸载 方法， 其特 征在于， 包括： 响应于工业物联网设备发出的任务卸载请求， 获取 所述工业物联网的应用任务； 利用PASD模型， 根据所述应用任务确定卸载操作； 所述卸载操作中包含有卸载决策和 资源分配决策； 所述卸载决策中含有 所述应用任务的执行方； 所述执行方包括： 工业物联网 设备、 边缘服务器和云服 务器； 将所述卸载操作发送至所述工业物联网设备， 以指示所述工业物联网设备将所述应用 任务卸载至所述卸载决策中的执行方， 并指示所述卸载决策中的执行方根据所述资源分配 决策分配相应资源以执 行所述应用任务； 其中， 所述PASD模型中包含有竞争深度Q 网络Dueling  DQN模型， 所述Dueling  DQN模型 输出的Q值所对应的奖励为任务平均完成时间和系统总能耗的加权和的负值， 所述Q值为所 述Dueling  DQN模型执行卸载操作所对应的动作价值； 所述PASD模型输出最大Q值所对应的 卸载操作 作为确定的卸载操作。 2.根据权利要求1所述的工业物联网任务卸载 方法， 其特 征在于， 所述PASD模型中包含有优先经验回放池， 用于存储所述PASD模型输出的卸载操作， 以 更新训练样本供 所述PASD模型强化学习。 3.根据权利要求2所述的工业物联网任务卸载方法， 其特征在于， 所述利用PASD模型， 根据所述应用任务确定卸载操作， 包括： 响应于所述应用任务， 感知当前时隙的系统环境状态； 系统环境状态包括工业物联网 设备的计算资源信息， 边缘服务器的计算资源信息， 云服务器的计算资源信息以及无线信 道剩余带宽资源信息； 所述PASD模型基于当前时隙的系统环境状态确定卸载操作。 4.根据权利要求3所述的工业物联网任务卸载方法， 其特征在于， 所述利用PASD模型， 根据所述应用任务确定卸载操作之后， 还 包括： 基于所述卸载操作生成执行所述卸载操作 所对应的奖励， 以及下一 时隙的系统环境状 态； 将当前时隙的系统环境状态、 卸载操作、 奖励和下一时隙的系统环境状态存储至所述 优先经验回放池， 以供 所述PASD模型强化学习。 5.根据权利要求4所述的工业物联网任务卸载方法， 其特征在于， 所述将当前时隙的系 统环境状态、 卸载操作、 奖励和下一时隙的系统环境状态存储至所述优先经验回放池， 包 括： 将当前时隙的系统环境状态、 卸载操作、 奖励和下一时隙的系统环境状态作为一个训 练数据数组， 并对所述训练数据数组赋予采样概 率后， 存储至所述优先 经验回放池。 6.根据权利要求5所述的工业物联网任务卸载方法， 其特征在于， 所述对所述训练数据 数组赋予采样概 率， 包括： 根据以下公式计算所述训练数据数组的采样概率并将所述采样概率赋予所述训练数 据数组： 权　利　要　求　书 1/3 页 2 CN 115529335 A 2其中， 表示卸载操作 的采样概率； 表示所述Dueling  DQN模型在当前时隙的系统环境状态下执行卸载操作 的动作价值Q 值， 表示当前时隙的系统环境状态； A表示卸载操作集合中的元素个数； 表示卸载操 作 的优先级， 7.根据权利要求5或6所述的工业物联网任务卸载方法， 其特征在于， 所述对所述训练 数据数组赋予采样概 率之后， 还 包括： 利用重要抽样法纠正所述训练数据数组的优先级。 8.根据权利要求7所述的工业物联网任务卸载方法， 其特征在于， 所述利用重要抽样法 纠正所述训练数据数组的优先级， 包括： 按照以下公式更新所述训练数据数组的优先级： 其中， 表示卸载操作 的采样概率； 表示卸载操作 的优先级， K表示所述优先经验回放池中的训练数据数组的数量； σ 表示重要抽样法对学习 过程的影响系数， 当σ ＝1时， 则重要抽样完全补偿不均匀的采样概 率。 9.根据权利要求1所述的工业物联网任务卸载方法， 其特征在于， 所述利用PASD模型， 根据所述应用任务确定卸载决策之前， 还 包括： 构建所述PAS D模型； 所述PASD模型的构建步骤 包括： 构建所述PAS D模型中的问题模型， 具体包括： 建立优化目标和约束条件； 根据所述优化目标生成所述PAS D模型中Duel ing DQN模型的奖励； 利用训练样本训练所述PASD模型以令所述PASD模型求取奖励最大所对应的问题模型 的卸载操作； 其中， 所述优化目标为最小化应用任务平均完成时间且最小化系统总能耗； 所述约束 条件包括： 应用任务的完成时间小于或等于应用任务的最大容忍时延， 为应用任务分配的 网络带宽位于链路的传输带宽范围内， 应用任务在工业物联网设备处理 时所分配的计算资 源小于或等于工业物联网设备的计算容量， 以及应用任务在工业物联网设备处理 时的计算 消耗、 卸载至边缘服务器的传输消耗和卸载至 云服务器的传输消耗之和不超过工业物联网 设备的总电池容 量。 10.根据权利要求9所述的工业物联网任务卸载方法， 其特征在于， 所述奖励包括正向 奖励与负向奖励； 对应地， 所述根据所述优化目标生 成所述PASD 模型中Dueling  DQN模型的 奖励， 包括： 以所述应用任务平均完成时间和所述系统总能耗的加权和的负值作为所述 正向奖励； 以当前时隙下， 最大应用任务平均完成时间与最大系统总能耗的加权和的负值作为所 述负向奖励。 11.根据权利要求10所述的工业物联网任务卸载方法， 其特征在于， 所述利用训练样本 训练所述PAS D模型以令所述PAS D模型求取 奖励最大 所对应的问题模型的卸载操作， 包括： 将所述问题模型转换为马尔可 夫决策MD P问题；权　利　要　求　书 2/3 页 3 CN 115529335 A 3