(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211046423.8 (22)申请日 2022.08.30 (71)申请人 北京龙智数 科科技服务有限公司 地址 100020 北京市朝阳区北 苑小街8号6 号楼五层5 305 (72)发明人 蒋召　黄泽元　祁晓婷　杨战波　 (74)专利代理 机构 北京嘉科知识产权代理事务 所(特殊普通 合伙) 11687 专利代理师 陈美君 (51)Int.Cl. G06V 40/16(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/762(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) (54)发明名称 人脸图像聚类方法、 装置、 电子设备及存储 介质 (57)摘要 本申请提供了一种人脸图像聚类方法、 装 置、 电子设备及存储介质。 该方法包括： 利用人脸 识别模型对 人脸数据集中的样 本进行特征提取， 得到每个样 本对应的特征； 计算特征之间的余弦 距离， 构建包含所有样本的连接图； 基于连通分 量对连接图进行搜索得到低层次子图， 对低层次 子图进行聚合， 得到第一候选簇； 计算第一候选 簇的质量分和重叠分， 依据质量 分对第一候选簇 进行筛选， 得到第二候选簇； 利用图卷积神经网 络输出第二候选簇中每个顶点的概率值， 依据概 率值对第二候选簇中的噪声点去除， 得到第三候 选簇； 查找每个其他第三候选簇与基准簇之间的 共享顶点， 将共享顶点去除。 本申请能应用到复 杂的聚类场景， 避免生成带噪声的簇， 提升人脸 图像聚类的效果。 权利要求书3页 说明书10页 附图3页 CN 115359541 A 2022.11.18 CN 115359541 A 1.一种人脸图像聚类方法， 其特 征在于， 包括： 获取用于聚类的人脸数据集， 利用训练后的人脸识别模型对所述人脸数据集中的样本 进行特征提取， 得到每 个样本对应的特 征； 计算所述样本的特征之间对应的余弦距离， 以每个所述样本作为顶点， 以所述余弦距 离作为边， 构建包 含所有样本的连接图； 基于连通分量对所述连接 图进行搜索， 得到符合预定条件的低层次子 图， 对所述低层 次子图执 行聚合操作， 得到第一 候选簇； 利用图卷积神经网络计算每个所述第 一候选簇对应的质量分和重叠分， 依据 所述质量 分对所述第一 候选簇进行筛 选， 得到第二 候选簇； 将所述第二候选簇作为所述图卷积神经网络的输入， 输出所述第 二候选簇 中每个顶点 对应的概 率值， 依据所述 概率值对所述第二 候选簇中的噪声点进行去除， 得到第三 候选簇； 将所述重叠分最高的第 三候选簇作为基准簇， 查找每个其他第 三候选簇与 所述基准簇 之间的共享顶点， 将所述其他第三候选簇中的共享顶点去除， 将所述基准簇以及去除共享 顶点后的其 他第三候选簇作为所述人脸数据集对应的人脸图像聚类结果。 2.根据权利要求1所述的方法， 其特征在于， 所述利用训练后的人脸识别模型对所述人 脸数据集中的样本进行 特征提取， 得到每 个样本对应的特 征， 包括： 利用收集的公开数据对人脸识别模型进行 预训练， 得到预训练后的人脸识别模型； 从所述人脸数据集中抽取预设数量的样本进行标注， 并使用标注后的样本对所述预训 练后的人脸识别模型进行二次训练， 得到二次训练后的人脸识别模型； 利用所述二 次训练后的人脸识别模型对所述人脸数据集中的剩余样本进行特征提取， 得到每个样本对应的特 征。 3.根据权利要求1所述的方法， 其特征在于， 所述基于连通分量对所述连接图进行搜 索， 得到符合预定条件的低层次子图， 包括： 将所述连接图中余弦距离低于设定 阈值的边移除， 基于移除边后的连接图以及连通分 量， 从所述连接图中获取连通子图， 并将所述连通子图从所述连接图中去除， 将去除所述连 通子图后的连接图存 储到列表中； 将所述连通子 图中顶点数低于固定阈值的图作为低层次子 图， 按照预设的阈值阶梯， 逐步提升所述设定阈值， 直至所述列表中存储的去除所述连通子图后的连接图为空时， 得 到全部的低层次子图。 4.根据权利要求1所述的方法， 其特征在于， 所述对所述低层次子 图执行聚合操作， 得 到第一候选簇， 包括： 确定每个所述低层次子 图对应的中心顶点， 以所述低层次子 图的中心顶点作为顶点， 所述中心 顶点之间的联系作为 边， 对所述低层次子图进行聚合， 得到高层次子图； 基于聚合后的所述高层次子 图寻找连通分量， 得到新的连通子 图， 基于新的连通子 图 进行下一次聚合迭代， 得到新的高层次子图， 将所述高层次子图以及所述新的高层次子图 全部存储为所述第一 候选簇。 5.根据权利要求1所述的方法， 其特征在于， 所述利用图卷积神经网络计算每个所述第 一候选簇对应的质量分和重叠分， 依据所述质量分对所述第一候选簇进行筛选， 得到第二 候选簇， 包括：权　利　要　求　书 1/3 页 2 CN 115359541 A 2将所述第一候选簇输入到所述图卷积神经网络 中， 利用所述图卷积神经网络计算每个 所述第一 候选簇对应的质量分和重 叠分； 依据每个所述第一候选簇对应的质量分以及预设的质量分阈值， 对所述第 一候选簇进 行筛选， 将高于所述质量分阈值的质量分对应的第一候选簇作为所述第二候选簇， 其中， 所 述图卷积神经网络采用GCN网络 。 6.根据权利要求1所述的方法， 其特征在于， 所述将所述第 二候选簇作为所述图卷积神 经网络的输入， 输出所述第二候选簇中每个顶点对应的概率值， 依据所述概率值对所述第 二候选簇中的噪声点进行去除， 得到第三 候选簇， 包括： 将所述第二候选簇输入到所述图卷积神经网络 中， 利用所述图卷积神经网络计算每个 所述第二 候选簇中的每 个顶点对应的概 率值； 将所述概率值低于阈值的顶点作为噪声点， 将所述噪声点从所述第二候选簇中去 除， 将噪声点去除后的第二 候选簇作为所述第三 候选簇； 其中， 所述概率值用于表示该顶点不是噪声点的概率， 所述概率值越大表示该顶点越 不是噪声点。 7.根据权利要求1所述的方法， 其特征在于， 所述将所述重叠分最高的第 三候选簇作为 基准簇， 查找每个其他第三候选簇与所述基准簇之间的共享顶点， 将所述其他第三候选簇 中的共享顶点去除， 包括： 依据所述重叠分对所述第 三候选簇进行排序， 将具有最高所述重叠分的第 三候选簇作 为基准簇， 将所述基准簇保留； 依据排序结果， 依次将每个其他第三候选簇与所述基准簇进行比较， 确定每个所述其 他第三候选簇与所述基准簇之 间的共享顶点， 将所述共享顶点作为所述其他第三候选簇与 所述基准簇之间的重 叠部分， 将所述重 叠部分从所述 其他第三候选簇中去除。 8.一种人脸图像聚类装置， 其特 征在于， 包括： 特征提取模块， 被配置为获取用于聚类的人脸数据集， 利用训练后的人脸识别模型对 所述人脸数据集中的样本进行 特征提取， 得到每 个样本对应的特 征； 构建连接 图模块， 被配置为计算所述样本的特征之间对应的余弦距离， 以每个所述样 本作为顶点， 以所述 余弦距离作为 边， 构建包 含所有样本的连接图； 搜索聚合模块， 被配置为基于连通分量对所述连接 图进行搜索， 得到符合预定条件的 低层次子图， 对所述低层次子图执 行聚合操作， 得到第一 候选簇； 候选簇筛选模块， 被配置为利用图卷积神经网络计算每个所述第 一候选簇对应的质量 分和重叠分， 依据所述质量分对所述第一 候选簇进行筛 选， 得到第二 候选簇； 噪声点去 除模块， 被配置为将所述第二候选簇作为所述图卷积神经网络的输入， 输出 所述第二候选簇中每个顶点对应的概率值， 依据所述概率值对所述第二候选簇中的噪声点 进行去除， 得到第三 候选簇； 共享顶点去 除模块， 被配置为将所述重叠分最高的第三候选簇作为基准簇， 查找每个 其他第三候选簇与所述基准簇之间的共享顶点， 将所述其他第三候选簇中的共享顶点去 除， 将所述基准簇以及去除共享顶点后的其他第三候选簇作为所述人脸数据集对应的人脸 图像聚类结果。 9.一种电子设备， 包括存储器， 处理器及存储在存储器上并可在处理器上运行的计算权　利　要　求　书 2/3 页 3 CN 115359541 A 3