(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210786124.1 (22)申请日 2022.07.04 (71)申请人 西北大学 地址 710069 陕西省西安市太白北路2 29号 (72)发明人 邓鑫　刘佳　赵玄润　卫毅　 许鹏飞　刘焘　郭松涛　杨璐瑶　 (74)专利代理 机构 西安恒泰知识产权代理事务 所 61216 专利代理师 李郑建 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 40/16(2022.01) (54)发明名称 一种金丝猴新个 体识别方法 (57)摘要 本发明涉及一种金丝猴新个体识别方法， 采 用基于孪生网络和深度特征聚类算法， 对无身份 信息金丝猴图像数据按个体分类。 通过三个模块 分别是金丝猴面部图像预训练编码器模块， 金丝 猴的类别数量估计模块， 以及无标签数据进行聚 类模块。 来解决实际中一些身份信息缺失的图像 数据， 无身份信息野生灵长类动物数据， 最终导 致无法进行身份识别的问题。 进一步将识别准确 率高的灵长类动物新个体补 充到原有数据集中， 进行数据增强， 提高模型对新个体的识别 能力。 从实验结果可以看出， 估计的类别个数与实际类 别个数误差在3个以内， SS ‑NIR在金丝猴新个体 识别上具有很好的性能。 权利要求书2页 说明书13页 附图3页 CN 115331134 A 2022.11.11 CN 115331134 A 1.一种金丝猴新个体识别方法， 其特征在于， 该方法采用基于孪生网络和深度特征聚 类的自监督新个体识别算法， 通过引入金丝猴面部图像预训练编码器模块、 金丝猴类别数 量估计模块、 以及无标签数据聚类模块对无身份信息的金丝猴数据进行新个体识别， 具体 包括如下步骤： 步骤S1： 首 先使用高分辨 率的摄像头采集行 金丝猴视频； 步骤S2： 对视频进行等间隔的分帧处理， 分帧后金丝猴图像使用图像质量评估算法 MUSIQ进行评估， 将存在严重模糊， 抖动的图像筛除； 步骤S3： 使用labelme软件对金丝猴面部进行标注， 采用目标检测网络yolov5对含有金 丝猴面部信息的图像进行面部检测； 再将定位好的面部从图像分割 出来， 得到只包含金丝 猴面部的图像； 步骤S4： 对检测得到的金丝猴面部图像数据进行预处理， 裁剪尺寸到同一大小并对金 丝猴面部图像进行矫 正处理； 步骤S5： 将得到高质量金丝猴面部图像预训练编码器模块， 用于提取金丝猴个体的视 觉特征， 通过从带标签数据中学习的先验知识减少聚类的模糊性， 提高对新个体划分的准 确率； 步骤S6： 金丝猴个体之间的面部图像相似度较大， 并考虑到数据集中某些类的图像数 量少的问题， 该模块利用孪生网络的结构从数据中学习面部 视觉特征； 步骤S7： 类别数量估计模块， 用于估计金丝猴新个体的类别数量， 通过知识迁移的方法 利用带标记数据的先验知识估计无 标签数据的类别个数； 步骤S8： 聚类分析模块， 通过聚类算法对无 标签数据进行聚类， 达 到个体识别的目的； 步骤S9： 将识别准确率高的金丝猴新个 体补充到原有数据集中， 进行 数据增强。 2.如权利要求1所述的方法， 其特 征在于， 所述 步骤S2具体实现步骤 包括： 步骤S21： 首先得到金丝猴图像的多尺度表示， 包括原图和固定长宽比缩放的变体， 不 同尺度的图像被分成固定大小的图像块， 然后被送入到以预训练好图像质量评估模型中， 由于图像块是来自不同的空间分辨率的图像， 需要高效地将这些多种长宽比、 多种尺度的 输入编码为 一个token序列， 捕获像素、 空间和尺度信息； 步骤S22： 基于哈希的二维空间嵌入， 记某个图像块的位置在第i行， 第j列， 被 哈希到G ×G的网格中的相应的元素； 该网格中的每一个元素是一个D维的嵌入向量； 即， 有一个可学 习的矩阵 输入的图像尺寸为H， W， 并将图像划分为多个尺寸为P的图像块， 对于 位置在(i， j)的图像块， 其空间嵌入被定义 为T中的(ti， tj)位置的元 素； 步骤S23： 对所用的图像复用一个相同的哈希矩阵， HSE是无法分别来自不同尺度的图 像块的， 因此引入一个额外的尺度嵌入SC E来帮助模型分辨 来自不同尺度的图像块； 步骤S24： 在ImageNet上做预训练， 预训练使用各种数据增广的方法来提升性能； 微调 则是在图像质量和美学质量数据集上进 行， 在微调阶段， 保持原尺 寸图像作为输入， 数据增 广只采用对图像质量无影响的水平翻转； 步骤S25： 使用质量评估算法MUSIQ对采集的金丝猴图像进行质量评估， 并设定一个合 理的阈值， 将低于阈值的图像数据进行筛除。权　利　要　求　书 1/2 页 2 CN 115331134 A 23.如权利要求1所述的方法， 其特 征在于， 所述 步骤S3具体实现步骤 包括： 步骤S31： 使用labe]me标注工具对金丝猴 图像数据的面部进行精细标注， 旨在使得目 标检测网络能够得到准确得到猴脸的图像坐标信息； 步骤S32： 将精细标注后的用于训练检测网络的数据馈入目标检测网络yolo  v5， 通过 反向传播， 更新网络参数， 直到网络收敛， 最终完成目标检测网络yo lo v5的预训练； 步骤S33： 使用预训练好的模型对未标注的金丝猴图像数据 猴脸部分进行裁剪， 为后期 的金丝猴类别数估计， 自监 督新个体识别做准备。 4.如权利要求1所述的方法， 其特 征在于， 所述 步骤S4具体实现步骤 包括： 步骤S41： 通过步骤S3得到 的金丝猴面部数据， 裁剪同一尺寸128*128便于后续模型的 处理； 步骤S42： 基于仿射变换的金丝猴面部图像进行矫正， 对金丝猴面部在旋转过程中的投 影变换进 行抽象处理并转换为几何模型； 从几何模型中解析出猴脸图像的具体变化情况并 结合仿射变换理论对人脸在旋转情况下的投影平 面图像进 行分析， 从而实现对猴脸图像的 矫正。 5.如权利要求1所述的方法， 其特 征在于， 所述 步骤S6的具体实现步骤 包括： 步骤61： 将高质量金丝猴图像数据输入编码器进行预训练， 预训练模块采用的是 ResNet‑50的深度神经网络作为主干网络； 步骤62： 通过孪生网络编码器得到两个金丝猴图像的深度特征向量， 并计算两个特征 向量之间的余弦距离； 步骤63： 不断迭代S S‑NIR网络， 通过反向传播， 更新网络参数直到网络收敛。 6.如权利要求1所述的方法， 其特 征在于， 所述 步骤S7的具体实现步骤 包括： 步骤S71： 通过带标签数据的先验知识， 使用K ‑means多次对带标签数据和无标签数据 集进行聚类， 并不断估计和更新无 标签数据的类数量； 步骤S72： 计算两个质量指数来检查得到的聚类结果， 其中一个质量指数是检查带标签 数据的质量， 它的类别数量是已知的； 步骤S73： 无 标签数据的类别数量会被估计为使两个质量指数最大的一个。 7.如权利要求1所述的方法， 其特 征在于， 所述 步骤S8的具体实现步骤 包括： 步骤S81： 通过步骤S7类别数量估计模块估计出了无标签数据的类别个数， 再利用聚类 算法对新个 体数据赋予标签； 步骤S82： 利用ResNet ‑50与K‑means聚类算法交替训练的方式， 更新ResNet ‑50的网络 参数； 步骤S83： 将同一金丝猴个 体下的图像归为 一类， 赋予每张图像一个伪标签。权　利　要　求　书 2/2 页 3 CN 115331134 A 3