(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111319304.0 (22)申请日 2021.11.09 (71)申请人 长春理工大 学 地址 130022 吉林省长 春市朝阳区卫星路 7186号 (72)发明人 张剑飞　冯欣　杨宏伟　张婧　 吕帅帅　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 代理人 赵兴华 (51)Int.Cl. G06N 20/00(2019.01) G06K 9/62(2022.01) G06F 21/64(2013.01) (54)发明名称 一种去中心的分簇联邦学习方法及系统 (57)摘要 本发明提供了一种去中心的分簇联邦学习 方法及系统， 方法包括： 对所有参与方进行预训 练， 得到每个参与方的模型权重和评分分数； 根 据模型权重， 利用K ‑Means算法对所有参与方进 行分簇处理， 得到多个簇； 确定每个簇中评分分 数最高的参与方为簇头参与方， 确定簇中除簇头 参与方之外的参与方为非簇头参与方； 将簇头参 与方作为对应簇的服务器， 对每个簇进行联邦训 练， 得到多个全局模型。 本发明通过将簇头参与 方作为对应簇的服务器， 对每个簇进行联邦训 练， 能够减了Non ‑IID数据对模型训练的影响， 同 时也降低 第三方中心服 务器泄露数据的风险。 权利要求书3页 说明书8页 附图3页 CN 113988315 A 2022.01.28 CN 113988315 A 1.一种去中心的分簇联邦学习方法， 其特 征在于， 所述方法， 包括： 对所有参与方进行 预训练， 得到每 个所述参与方的模型权 重和评分 分数； 根据所述模型权 重， 利用K ‑Means算法对所有所述 参与方进行分簇处 理， 得到多个簇； 确定每个所述簇 中评分分数最高的参与 方为簇头参与 方， 确定所述簇中除所述簇头参 与方之外的参与方为非簇 头参与方； 将所述簇头参与方作为对应簇的服务器， 对每个所述簇进行联邦训练， 得到多个全局 模型。 2.根据权利要求1所述去中心的分簇联邦学习方法， 其特征在于， 所述对所有参与 方进 行预训练， 得到每 个所述参与方的模型权 重和评分 分数， 具体包括： 确定任一所述 参与方为中心参与方； 确定除所述中心参与方之外的参与方为非中心参与方； 所述中心参与方生成第 一全局初始模型， 并将所述第 一全局初始模型分别发送给多个 所述非中心参与方； 所述中心参与方和多个所述非中心参与方分别利用本地数据对所述第一全局初始模 型进行训练， 得到多个第一本地模型； 确定多个所述第一本地模型的准确率和模型权 重； 根据多个所述第 一本地模型的准确率和模型权重， 确定每个所述第 一本地模型的评分 分数； 确定所述第一本地模型的模型权 重为对应参与方的模型权 重； 确定所述第一本地模型的评分 分数为对应参与方的评分 分数。 3.根据权利要求2所述去中心的分簇联邦学习方法， 其特征在于， 所述评分分数的计算 公式为： Score＝ wi·acci； 其中， Score为评分 分数， wi为参与方i的模型权 重； acci为参与方i的准确率。 4.根据权利要求1所述去中心的分簇联邦学习方法， 其特征在于， 所述根据所述模型权 重， 利用K ‑Means算法对所有所述 参与方进行分簇处 理， 得到多个簇， 具体包括： 根据多个 所述参与方的模型权重， 利用公式si m(xi,xj)＝||xi,xj||， 分别两两计算多个 所述参与方之间的余弦相似度； 根据多个所述 余弦相似度， 构建余弦相似度矩阵； 根据所述余弦相似度矩阵， 利用K ‑Means算法对所有所述参与方进行分簇处理， 得到多 个簇； 其中， sim(xi,xj)表示参与方i的模型权重和参与方j的模型权重之间 的余弦相似度； xi 表示参与方i的模型权 重； xj表示参与方j的模型权 重。 5.根据权利要求1所述去中心的分簇联邦学习方法， 其特征在于， 所述将所述簇头参与 方作为对应簇的服 务器， 对每 个所述簇进行 联邦训练， 得到多个全局模型， 具体包括： 确定任一簇为当前簇； 所述当前簇 中的簇头参与 方生成第 二全局初始模型， 并将所述第 二全局初始模型分别 发送给当前簇中的多个非簇 头参与方； 确定所述第二全局初始模型为 参与方初始模型； 所述当前簇 中的所有参与 方分别利用本地数据对所述参与 方初始模型进行训练， 得到权　利　要　求　书 1/3 页 2 CN 113988315 A 2多个第二本地模型； 所述簇头参与方将多个所述第二本地模型进行聚合处 理， 得到聚合模型； 判断所述聚合模型 是否收敛， 得到判断结果； 若所述判断结果为否， 则将所述聚合模型作为参与 方初始模型， 并返回步骤 “所述当前 簇中的所有参与方分别利用本地数据对所述参与方初始模型进行训练， 得到多个第二本地 模型”； 若所述判断结果 为是， 则确定所述聚合模型为所述当前簇的全局模型。 6.一种去中心的分簇联邦学习 系统， 其特 征在于， 所述系统， 包括： 预训练模块， 用于对所有参与方进行预训练， 得到每个所述参与方的模型权重和评分 分数； 分簇处理模块， 用于根据所述模型权重， 利用K ‑Means算法对所有所述参与方进行分簇 处理， 得到多个簇； 簇头参与方确定模块， 用于确定每个所述簇中评分分数最高的参与方为簇头参与方， 确定所述簇中除所述簇 头参与方之外的参与方为非簇 头参与方； 全局模型确定模块， 用于将所述簇头参与方作为对应簇的服务器， 对每个所述簇进行 联邦训练， 得到多个全局模型。 7.根据权利要求6所述去中心 的分簇联邦学习系统， 其特征在于， 所述预训练模块， 具 体包括： 中心参与方当前 单元， 用于确定任一所述 参与方为中心参与方； 非中心参与方当前 单元， 用于确定除所述中心参与方之外的参与方为非中心参与方； 第一全局初始模型生成单元， 用于使所述中心参与方生成第一全局初始模型， 并将所 述第一全局初始模型分别发送给多个所述非中心参与方； 第一本地模型确定单元， 用于使所述中心参与 方和多个所述非中心参与 方分别利用本 地数据对所述第一全局初始模型进行训练， 得到多个第一本地模型； 第一模型权 重确定单 元， 用于确定多个所述第一本地模型的准确率和模型权 重； 第一评分分数确定单元， 用于根据多个所述第一本地模型的准确率和模型权重， 确定 每个所述第一本地模型的评分 分数； 第二模型权重确定单元， 用于确定所述第 一本地模型的模型权重为对应参与方的模型 权重； 第二评分分数确定单元， 用于确定所述第 一本地模型的评分分数为对应参与方的评分 分数。 8.根据权利要求7所述去中心的分簇联邦学习系统， 其特征在于， 所述评分分数的计算 公式为： Score＝ wi·acci； 其中， Score为评分 分数， wi为参与方i的模型权 重； acci为参与方i的准确率。 9.根据权利要求6所述去中心 的分簇联邦学习系统， 其特征在于， 所述分簇处理模块， 具体包括： 余弦相似度计算单元， 用于根据 多个所述参与方的模型权重， 利用公式sim(xi,xj)＝|| xi,xj||， 分别两 两计算多个所述 参与方之间的余弦相似度； 余弦相似度矩阵构建单 元， 用于根据多个所述 余弦相似度， 构建余弦相似度矩阵；权　利　要　求　书 2/3 页 3 CN 113988315 A 3