(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210345323.9 (22)申请日 2022.04.02 (71)申请人 西安电子科技大 学 地址 710000 陕西省西安市雁塔区太白南 路2号 (72)发明人 承楠　沈京龙　赫明泽　李长乐　 (74)专利代理 机构 西安嘉思特知识产权代理事 务所(普通 合伙) 6123 0 专利代理师 高晓倩 (51)Int.Cl. G06N 3/08(2006.01) G06V 40/16(2022.01) G06F 9/50(2006.01) (54)发明名称 基于自适应分割联邦学习的模型训练方法 和人脸识别方法 (57)摘要 本发明公开了一种基于自适应分割联邦学 习的模型训练方法和人脸识别方法， 前者包括： 每个用户端将设备信息上传服务端， 服务端基于 所有设备信息向各用户端分配传播步长和聚集 权重； 在当前轮训练中， 每个用户端从服务端获 取当前轮全局模 型， 以自身作为所有用户端构成 的环形拓扑结构的始端进行预设次本地联合处 理， 得到该始端针对当前轮训练的本地更新后模 型参数； 每个用户端将针对当前轮训练的本地更 新后模型参数上传服务端聚合得到当前轮更新 后全局模型； 服务器判断当前轮更新后全局模型 是否收敛； 若否进行下一轮训练； 若是将当前轮 更新后全局模型确定为训练完成的人脸识别模 型。 本发明能解决异质性问题， 保护隐私， 提高收 敛速度和人脸识别准确性。 权利要求书3页 说明书16页 附图5页 CN 114912605 A 2022.08.16 CN 114912605 A 1.一种基于自适应分割联邦学习的模型训练方法， 其特征在于， 应用于由一个服务端 和多个用户端构成的Ri ngSFL系统， 所述方法包括： 每个用户端将其设备信 息上传至所述服务端， 所述服务端基于所有设备信 息向每个用 户端分配传播 步长和聚集权 重； 其中， 所述传播 步长表征传播的网络层数； 在当前轮训练中， 每个用户端从所述服务端处获取当前轮全局模型， 并以自身作为所 有用户端构成的环形拓扑结构的始端进行该始端的预设次本地联合处理， 得到该始端针对 当前轮训练的本地更新后模型参数； 其中， 每个始端的一次本地联合处理过程包括： 基于自 身人脸图像训练集的一个批次， 对所述当前轮训练中该始端的当前次本地模型进 行前向传 播和反向传播； 并基于所有始端各自在该次本地联合处理过程中产生的加权梯度， 对每个 始端的当前次本地模型进 行更新； 当前轮训练中每个始端第一次本地联合处理所对应的当 前次本地模型为当前轮全局模型； 所述前向传播和所述反向传播均由所述环形拓扑结构中 各用户端利用其传播步长进行 的部分网络训练衔接完成； 所述反向传播中， 各用户端利用 自身传播 步长和对应始端的聚集权 重得到对应的加权梯度并传递各自的输出层 梯度； 每个用户端将各自针对当前轮训练的本地更新后模型参数上传至所述服务端进行聚 合， 得到当前轮更新后全局模型； 所述服务器判断所述当前轮更新后全局模型 是否满足收敛 条件； 若否， 将所述当前轮更新后全局模型作为下一轮全局模型， 返回所述在当前轮训练中， 每个用户端同步从所述 服务端处获取当前轮全局模型的步骤。 若是， 将所述当前轮更新后全局模型确定为训练完成的人脸识别模型。 2.根据权利要求1所述的基于自适应分割联邦学习的模型训练方法， 其特征在于， 所述 每个用户端将其设备信息上传至所述服务端， 所述服务端基于所有设备信息向每个用户端 分配传播 步长和聚集权 重， 包括： 每个用户端将其计算能力值和自身人脸图像训练集对应的训练样本数上传至所述服 务端； 所述服务端基于获得的各用户端的计算能力值， 利用预先建立的传播步长计算公式， 计算每个用户端的传播步长； 其中， 所述传播步长计算公式是根据预先构建的关于计算时 间的优化问题确定的； 所述服务端计算所获得的所有用户端的训练样本总数， 并将每个用户端的训练样本数 与所述训练样本总数的比值确定为对应用户端的聚集权 重； 所述服务端向每 个用户端发送其传播 步长和聚集权 重。 3.根据权利要求2所述的基于自适应分割联邦学习的模型训练方法， 其特征在于， 所述 预先构建的关于计算时间的优化问题， 包括： 0≤pi≤1, 权　利　要　求　书 1/3 页 2 CN 114912605 A 2其中， pi为切割比， 表示分配给第i个用户端ui的计算负载率； N表示用户端总数； Ci表示 用户端ui的计算能力值； 表示所有用户端的总计算能力值； ci表示用户端ui的计 算能力值与总计算能力值的比率； M表示始端完成一次本地联合处理过程所需的总计算量； max{·}表示求最大值； 表示最小化； 所述预先构建的关于计算时间的优化问题的求 解结果， 包括： 其中， 表示用户端ui的最优切割比； m*表示所述优化问题求解过程中引入的变量m的 优化结果。 4.根据权利要求3所述的基于自适应分割联邦学习的模型训练方法， 其特征在于， 所述 传播步长计算公式， 包括： 其中， Li表示用户端 ui的传播步长； w表示各轮全局模型对应的原 始网络的总层数。 5.根据权利要求1或4所述的基于自适应分割联邦学习的模型训练方法， 其特征在于， 针对每个始端， 该始端的一次本地联合处 理过程中， 前向传播的过程包括： 该始端利用自身人脸图像训练集的一个当前批次， 从当前次本地模型的首层开始向前 传播该始端的传播步长所对应的层数， 将其前向传播对应的局部网络所输出的特征图和其 输出层序号， 沿以该始端为 起点的环形拓扑 结构的顺向传递给 下一个用户端； 针对沿所述环形拓扑结构顺向依次遍历到的每个正向当前端， 该正向当前端将前一个 用户端的输出层序号沿网络正向对应的下一层作为该正向当前端的起始层， 将前一个用户 端传递来的计算结果从该正向当前端的起始层开始向前传播该正向当前端的传播步长所 对应的层数， 并将其前向传播对应的局部网络所得的计算结果沿所述环形拓扑结构的顺向 传递给下一个用户端； 其中， 各正向当前端为所述环形拓扑结构 中除该始端之外遍历到的 每个用户端， 所述 终端为遍历 到的最后一个用户端； 除所述 终端外， 各正向当前端还将自身 的输出层序号传递给下一个用户端， 且计算结果为对应局部网络输出 的特征图； 所述终端 的计算结果 为人脸识别结果； 该始端将所述终端传递来的人脸识别结果与所述当前批次中的样本标签进行对应比 较， 根据比较结果计算出 该始端对应的网络损失值。 6.根据权利要求5所述的基于自适应分割联邦学习的模型训练方法， 其特征在于， 针对 每个始端， 该始端的一次本地联合处 理过程中， 反向传播的过程包括： 该始端将对应的网络损失值和自身的聚集权 重传递给 所述终端； 所述终端利用所述网络损失值， 从当前次本地模型的末层开始反 向传播该终端的传播 步长所对应的层数， 计算其反向传播对应的局部网络的梯度， 将得到的局部网络梯度与该权　利　要　求　书 2/3 页 3 CN 114912605 A 3