(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210740023.0 (22)申请日 2022.06.28 (71)申请人 河南大学 地址 475001 河南省开封市顺河区明伦街 85号 (72)发明人 王龙葛　马志峰　赵宇曦　于俊洋　 何欣　宋亚林　翟锐　 (74)专利代理 机构 郑州大通专利商标代理有限 公司 41111 专利代理师 张立强 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/40(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于视图注意力驱动的多视图聚类方 法 (57)摘要 本发明公开一种基于视图注意力驱动 的多 视图聚类方法， 包括： 构建多视图特征提取网络； 构建多视图特征提取网络训练时所需损失函数， 并进行网络训练， 得到多视图特征提取网络模 型； 将多视图样本数据输入所述多视图特征提取 网络模型中， 得到不同样本的所有视图特征表 示； 将同一样本的所有视图的特征表示进行连 接， 对连接后不同多视图样本特征数据采用k ‑ means算法进行聚类， 得到多视图样本数据的聚 类结果。 本发 明采用对比学习和注 意力机制学习 不同视图数据的特征表示， 在学习不同视图的特 征表示时， 同时考虑其他视图所关注的信息， 从 而加强对所有视图中存在的一致性信息的关注 和减少仅存于视图子集中与聚类目标无关信息 的影响。 权利要求书2页 说明书9页 附图3页 CN 114998633 A 2022.09.02 CN 114998633 A 1.一种基于 视图注意力驱动的多视图聚类方法， 其特 征在于， 包括： 步骤1： 构建多视图特 征提取网络； 步骤2： 构建所述多视图特征提取网络训练时所需损失函数， 并基于构建的多视图特征 提取网络及对应损失函数进行网络训练， 得到多视图特 征提取网络模型； 步骤3： 将多视图样本数据输入所述多视图特征提取网络模型中， 得到不同样本的所有 视图特征表示； 步骤4： 将同一样本的所有视图的特征表示进行连接， 对连接后不同多视图样本特征数 据采用k‑means算法进行聚类， 得到多视图样本数据的聚类结果。 2.根据权利要求1所述的一种基于视图注意力驱动的多视图聚类方法， 其特征在于， 所 述多视图特征提取网络由多视图特征编 码器和特征解码 器两部分构成； 所述多视图特征编 码器用于将视图子集数据映射到特征潜在空间； 所述特征解码器模块用于将多视图特征编 码器的最后输出作为其本身的输入， 由多视图特征编 码器得到的潜在特征表示恢复回原始 数据空间。 3.根据权利要求1所述的一种基于视图注意力驱动的多视图聚类方法， 其特征在于， 所 述多视图特征编码器由自动编 码器模块和注意力模块组成； 所述自动编码器模块中的每一 层由全连接层、 批归一化层和ReLU层组成； 所述注意力模块中的每一层由全连接层和ReLU 层组成， 最后经 过Sigmoid函数得到由其 他视图产生注意力加权的视图特 征。 4.根据权利要求1所述的一种基于视图注意力驱动的多视图聚类方法， 其特征在于， 所 述目标函数如式(1)所示： L＝Lcl+λ1Lrec   (1) 其中， Lcl表示跨视图对比损失， Lrec表示视图内重建损失， λ1表示重建损失所占比例权 重； 视图内重建损失Lrec如式(2)所示： 其中 表示第t个样本的第v个视图， 表示 经过所述编码器和所述解码器得到的 重构数据； 其中 的表示形式如式(3)所示： 其中 和 分别表示第t 个样本的第v个视图和第w个视图数据， f(v)和g(v)分别表示对 特定第v个视图的自动编 码器模块和所述解码 器模块， h(v)表示由其他视图驱动产生的注 意 力模块，⊙表示元素向量乘积； 因此， 第t个样本的第v个视图的特 征表示如式(4)所示： 其中 表示 在潜在特 征空间中的特 征表示， 其中v∈{1， ……， m}； 当m＝2时， 跨视图对比损失Lcl如式(5)所示：权　利　要　求　书 1/2 页 2 CN 114998633 A 2当m＝3时， 跨视图对比损失Lcl如式(6)所示： 当m＞3时， 跨视图对比损失Lcl如式(7)所示： 其中I表示互信息， H表示信息熵， 表示第t个样本的第1个视图， 表示第t个样本的 第2个视图， 表示第t个样本的第3个视图， 表示第t个样本的第m个视图， 表示第t 个样本的第m ‑1个视图， α 为信息熵正则化控制参数。 5.根据权利要求1所述的一种基于视图注意力驱动的多视图聚类方法， 其特征在于， 采 用随机初始化方式来训练多视图特 征提取网络 。权　利　要　求　书 2/2 页 3 CN 114998633 A 3