(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210800775.1 (22)申请日 2022.07.08 (71)申请人 哈尔滨工业大 学 （深圳） 地址 518000 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 苗振国　张瑞霖　王鸿鹏　 (74)专利代理 机构 深圳市添源创鑫知识产权代 理有限公司 4 4855 专利代理师 覃迎峰 (51)Int.Cl. G06V 10/762(2022.01) G06V 10/82(2022.01) G06V 20/70(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 基于密度峰值聚类算法的图像类别自动标 注方法及装置 (57)摘要 本发明公开一种基于密度峰值聚类算法的 图像类别自动标注方法及装置， 包括卷积自编码 器模型训练和卷积编码器 ‑聚类联合训练， 将待 标注的图像数据集输入到模型训练卷积自编码 器模块， 然后取出训练好的卷积编码器模块， 将 图像数据降维到低维特征向量空间； 将低维特征 向量输入到卷积编码器 ‑聚类联合训练模块， 在 特征向量空间使用密度峰值聚类方法选择候选 聚类中心并找到高置信度数据集合， 将高置信度 数据集合类别作为真实标签训练卷积编码器模 块， 得到可信度高的聚类结果， 最后用特征向量 类别对输入的无标签图像数据进行类别标注。 本 发明可对无标签图像数据实现自动类别标注， 解 决了当前人工标注类别耗时长、 成本高、 准确率 低、 效率差的问题。 权利要求书3页 说明书10页 附图3页 CN 115147632 A 2022.10.04 CN 115147632 A 1.一种基于密度峰值聚类算法的图像 类别自动标注方法， 其特 征在于， 所述方法包括： 获取待标注类别的无 标签图像数据集； 将无标签图像数据集输入到卷积自编码器模型进行训练， 具体过程包括： 利用卷积自 编码器模型中的卷积编 码器模块将输入的无标签图像数据降维压缩到低维特征向量， 然后 由卷积解码 器模块将低维特征向量进 行图像恢复得到重构图像数据， 计算输入无标签图像 数据与重构图像数据之 间的重构损失， 当重构损失小于给定阈值即确定卷积自编 码器模型 训练截止； 保留训练好的卷积自编码器模型中的卷积编码器模块， 利用卷积编码器模块获取无标 签图像数据集的低维特 征向量集合； 将低维特征向量集合输入到卷积编码器 ‑聚类联合训练模块进行联合训练， 具体过程 包括： 利用密度峰值聚类方法计算低维特征向量集合中特征向量点的局部密度和距高密度 点距离， 并将特征向量点的局部密度和距高密度点距离相乘得到特征向量的伽马值； 对低 维特征向量集合中所有特征向量的伽马值进行降序排序， 将前m个特征向量点选为候选聚 类中心， 得到候选聚类中心集合； 计算剩余特征向量点到每个候选聚类中心的距离， 得到m 维距离向量； 将m维距离 向量中每个分量取倒数并归一化得到的m维类别分配置信度向量， 取m维类别分配置信度向量中值最大 的分量所在列作为特征向量点的真实类别标签， 得到 类别分配置信度向量的聚类结果， 将真实类别标签作为有标签训练卷积编码器模块； 用训 练过的卷积编码器模块更新剩余特征向量点的置信度向量矩阵直到前后两轮聚类结果的 KL散度值小于给定阈值， 训练结束； 将训练结束后得到的聚类结果作为最终的聚类结果， 用最终的聚类结果标注输入的无 标签图像， 得到最终的标注图像数据集。 2.根据权利要求1所述的基于密度峰值聚类算法的图像类别自动标注方法， 其特征在 于， 在将无标签图像数据集输入到卷积自编码器模型进行训练前， 先对输入的无标签图像 数据进行 数据增强并添加随机高斯噪声。 3.根据权利要求1所述的基于密度峰值聚类算法的图像类别自动标注方法， 其特征在 于， 计算输入无 标签图像数据与重构图像数据之间的重构损失， 具体表达式为： 其中， n表示输入无标签图像数据集的大小， Xi表示输入 的无标签图像数据样本， 表 示Xi经过卷积编码器模块和卷积解码器模块得到的重构图像数据， φ表示卷积编码器模块 的参数， θ表 示卷积解码 器模块的参数， fφ表示卷积编码 器模块实现的从输入无标签图像数 据到特征向量的映射， gθ表示卷积解码器模块实现的从特征向量到重构图像数据的映射， Lrec表示整个卷积自编码器模型的重构损失。 4.根据权利要求1所述的基于密度峰值聚类算法的图像类别自动标注方法， 其特征在 于， 利用密度峰值聚类方法计算低维特征向量集合中特征向量点的局部密度和距高密度点 距离， 具体方法包括： 计算每个特征向量点到其k个近邻的距离， 计算 k近邻距离的均值 μ和标准差σ；权　利　要　求　书 1/3 页 2 CN 115147632 A 2其中d(x,xi)表示特征向量点x到其k近邻xi的欧式距离； 根据拉伊达准则计算得到一个上限θ＝μ+3σ， 遍历k近邻距离， 将大于上限θ的近邻移 除， 得到新的k近邻集 合， 根据更新后的k近邻集 合计算数据点的局部密度ρ 为： 其中更新后的k近邻集合为AKNN＝{xj|d(x,xj)≤d(x,xk)∧d(x,xj)≤θ＝ μ+3σ }， x表示 特征向量点， xj是x的k近邻中的一个对象， xj∈AKNN表示xj属于x的k近邻， d(x,xj)表示x与xj 的欧氏距离， 符号^表示条件与； 特征向量点距高密度点距离 δ 为： 其中ρi表示点i的局部密度， D表示全体特征向量点集合， d(xi,xj)表示xi和xj两点间的 欧式距离 。 5.一种基于密度峰值聚类算法的图像 类别自动标注装置， 其特 征在于， 包括： 图像获取 单元， 用于获取待标注类别的无 标签图像数据集； 卷积自编码器模型训练单元， 用于将无标签图像数据集输入到卷积自编码器模型进行 训练， 具体过程包括： 利用卷积自编码器模型中的卷积编码器模块将输入的无标签图像数 据降维压缩到低维特征向量， 然后由卷积解码器模块将低维特征向量进 行图像恢复得到重 构图像数据， 计算输入无标签图像数据与重构图像数据之间的重构损失， 当重构损失小于 给定阈值即确定卷积自编码器模型训练截止； 低维特征向量集合获取单元， 用于保留训练好的卷积自编码器模型中的卷积编码器模 块， 利用卷积编码器模块获取 无标签图像数据集的低维特 征向量集合； 卷积编码器 ‑聚类联合训练模块训练单元， 用于将低维特征向量集合输入到卷积编码 器‑聚类联合训练模块进 行联合训练， 具体过程包括： 利用密度峰值聚类方法计算低维特征 向量集合中特征向量点的局部密度和距高密度点距离， 并将特征向量点的局部密度和距高 密度点距离相乘 得到特征向量的伽马值； 对低维特征向量集合中所有 特征向量的伽 马值进 行降序排序， 将前m个特征向量点选为候选聚类中心， 得到候选聚类中心集合； 计算剩余特 征向量点到每个候选聚类中心的距离， 得到m维距离向量； 将m维距离向量中每个分量取倒 数并归一 化得到的m维类别分配置信度向量， 取m维类别分配置信度向量中值最大的分量所在列作为特征向量点的真实类别标签， 得到类别分配置信度向量的聚类结果， 将真实类别标签作为有标签训练卷积编码器模块； 用训练过 的卷积编码器模块更新剩余特征向量点的置信度向量矩阵直到前后两轮聚类结 果的KL散度值小于给定阈值， 训练结束； 标注图像数据集单元， 用于将训练结束后得到的聚类结果作为最终的聚类结果， 用类权　利　要　求　书 2/3 页 3 CN 115147632 A 3