(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210152598.0 (22)申请日 2022.02.18 (71)申请人 安徽工业大学 地址 243032 安徽省马鞍山市湖东中路59 号 (72)发明人 潘紫柔　吴宣够　卫琳娜　张卫东　 (74)专利代理 机构 南京九致知识产权代理事务 所(普通合伙) 32307 专利代理师 杨橘 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/27(2019.01) G06N 7/00(2006.01) G06N 20/20(2019.01) (54)发明名称 一种自适应客户端参数更新的联邦学习方 法、 系统及存 储介质 (57)摘要 本发明提供的自适应客户端参数更新的联 邦学习方法、 系统及存储介质， 涉及无线通信网 络技术领域； 该方法包括中央服务器下发全局模 型至所属的客户端； 客户端利用本地数据对模型 进行更新； 客户端在下一个全局模 型训练过程前 估计能量消耗和传输延迟， 利用强化学习去选择 的本地更新的次数； 当客户端本地更新次数达到 训练的本地更新最优值时， 再将模 型上传到中央 服务器进行全局聚合； 本发明能高效执行联邦学 习任务， 降低联邦学习学习模型所需的通信代 价， 并选择客户端本地更新的局部最优模型， 提 高联邦学习整体训练效率。 权利要求书3页 说明书9页 附图2页 CN 114528304 A 2022.05.24 CN 114528304 A 1.一种自适应客户 端参数更新的联邦学习方法， 其特征在于， 应用于中央服务器， 包 括： 在中央服务器使用Q ‑Learning的算法建立Q表， 其中， Q表的建立过程为在中央服务器 的任意状态s1下出发， 选定任一动作a下发至所有客户端， 获得反馈的奖赏r， 根据奖赏r计 算Q值并填入Q表， 动作a作为中央服务器进入的下一个新状态 s2， 重复执行计算， 直至Q表不 再变化或者变化在设定范围内； 中央服务器广播其初始化的全局模型参数至所有客户端， 以便各个客户端根据其拥 有 的本地数据进行训练， 更新本地资源信息； 接收客户端上传的其本地更新的资源信 息， 并采用马尔科夫 决策过程依据所述资源信 息对应的状态在Q表中选择最大Q值对应的动作a反馈至客户端； 其中， 最大Q值对应的动作a 作为客户端下一个新状态s2， 多次迭代， 直至局部的模型收敛或达到设定的局部模型精度， 获得本地更新局部最优 模型； 接收所有客户端上传的本地模型的参数， 采用联邦平均算法聚合， 更新全局模型参数； 其中， 客户端上传的本地模型的参数为本地更新局部最优 模型的参数； 下发更新后的全局模型参数至各个客户端， 以便客户端重复执行上述确定本地更新局 部最优模型 的过程， 多次迭代， 直至联邦学习系统中所有客户端内全局模型收敛或达到设 定全局模型精度。 2.根据权利要求1所述的自适应客户端参数更新的联邦学习方法， 其特征在于， 所述马 尔科夫决策过程定义为联邦学习系统中客户端本地更新局部最优模型的选择策略问题， 记 为<S， A， P， R>， 其中， S、 A、 P和R分别为联邦学习系统的状态空间、 动作空间、 状态 转换概率和 奖励函数； 所述状态空间S表示 为系统中所有客户端的资源信息， 定义 为 其中，Ⅱ为笛卡尔积， n为联邦学习系统中客户端的数量， sk为客户端k的状态， 客户端k 的状态表示为 sk＝{fk,ek,wk； fk≤F,ek≤E,wk≤W} 其中， F、 E、 W分别 为中央服务器的周期频率、 能量单位和无线带宽的限制， fk为客户端k 的周期频 数， ek为客户端k的能量单位， wk为客户端k的无线带宽的限制； 所述操作空间A表示为中央服务器对系统包含的所有客户端本地更新局部最优模型的 选择策略的组合， 定义 为 其中， ak为客户端k的动作， 并且ak＝0或1； 当ak＝0表示客户端k不上传局部模型的更新， ak＝1表示客户端k上传本轮局部模型的 更新； 所述状态转换概率P表示为联邦学习系统从当前状态s1转换到下一个状态s2的概率， 状 态转换是根据系统中所有客户端状态的转换来确定的；权　利　要　求　书 1/3 页 2 CN 114528304 A 2所述中央服务器根据客户端上传的本地更新局部最优模型的参数进行全局模型参数 更新， 并根据积累奖赏评估根据马尔科夫决策方法寻找的客户端在本地更新最优模型策略 的好坏， 获得最优策略； 其中， 最优策略表示客户端在初始状态下一直执行该策略， 直到客 户端的状态达 到局部的模型收敛或设定的局部模型精度； 所述累积奖赏采用奖励函数R表示， 计算方法为： 其中， Rs表示客户端k达到局 部的模型收敛或设定的局 部模型精度的状态s下的累积奖 赏， α、 β 均为折扣因子， m为客户端一轮训练的本地更新次数， Bk为客户端每次迭代所 需要的 能量消耗； 客户端k每次迭代所消耗的能量Bk计算如下： BK＝fk2μG 其中， μ为训练数据， G为处 理一个本地数据所需的中央服 务器周期数。 3.根据权利要求1所述的自适应客户端参数更新的联邦学习方法， 其特征在于， 应用于 客户端， 包括： 接收中央服务器下发的初始化的全局模型参数， 根据其拥有的本地数据进行训练， 更 新本地资源信息； 上传其本地更新的资源信 息至中央服务器， 以便中央服务器采用马尔科夫 决策过程依 据该资源信息对应的状态在Q表中选择最大Q值对应的动作a反馈至客户端； 其中， Q表为中 央服务器使用Q ‑Learning的算法建立， 建立过程为在 中央服务器的任意状态s1下出发， 选 定任一动作a下发至所有客户端， 获得反馈的奖赏r， 根据奖赏r计算Q值并填入Q表， 动作a作 为中央服务器进入的下一个新状态s2， 重复执行计算， 直至Q表不再变化或者变化在设定范 围内； 以动作a作为下一个新状态s2， 多次迭代， 直至局 部的模型收敛或达到设定的局部模型 精度， 获得本地更新局部最优 模型； 上传本地更新局部最优模型的参数至 中央服务器， 以便中央服务器采用联邦平均算法 聚合， 更新全局模型参数； 接收中央服务器下发的更新后的全局模型参数， 重复执行上述确定本地更新局部最优 模型的本地更新过程， 多次迭代， 直至联邦学习系统中所有客户端内全局模型收敛或达到 设定全局模型精度。 4.根据权利要求1所述的自适应客户端参数更新的联邦学习方法， 其特征在于， 定义联 邦学习系统包括n个客户端， 每个客户端存储有本地数据， 则系统的本地损失函数和全局损 失函数分别为： 权　利　要　求　书 2/3 页 3 CN 114528304 A 3