(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210063640.1 (22)申请日 2022.01.20 (71)申请人 中山大学 地址 510275 广东省广州市海珠区新港西 路135号 (72)发明人 王瑞轩　李焯昀　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 代理人 李斌 (51)Int.Cl. G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06K 9/62(2022.01) (54)发明名称 基于模型参数和剪枝策略的持续学习图像 识别方法及装置 (57)摘要 本发明公开了一种基于模型参数和剪枝策 略的持续学习图像识别方法及装置， 方法包括： 收集新增类别数据及历史类别数据； 构建持续学 习图像识别模型； 将新增类别数据与Rehearsal 策略保存的部分旧类别数据合并， 组成训练数 据； 输入持续学习图像识别模型中， 新增特征提 取器和FC层； 利用知识蒸馏训练持续学习图像识 别模型， 并使用剪枝策略去除新增特征提取器中 不重要的卷积核； 对新增类别数据及历史类别数 据使用Reh earsal策略， 保存部分类别数据； 将 待 测试数据输入持续学习图像识别模型中进行测 试， 获得图像识别结果。 本方法从模型参数角度， 采用知识蒸馏 解决了图像识别中持续学习问题， 结合剪枝策略减缓模型参数量的增长速度， 提高 了图像识别的准确率和效率。 权利要求书2页 说明书7页 附图3页 CN 114418094 A 2022.04.29 CN 114418094 A 1.基于模型参数和剪枝策略的持续学习图像识别方法， 其特 征在于， 包括下述 步骤： 收集新增类别数据及历史类别数据； 构建持续学习图像识别模型； 所述持续学习图像识别模型包括多个特征提取器、 多个 FC层和NME 分类器； 所述特征提取器用于提取类别数据的特征； 所述FC层用于对特征进 行筛 选过滤； 所述NME分类器用于对特 征进行分类； 将新增类别数据与Rehearsal策略保存的部分旧类别数据合并， 组成训练数据； 将训练数据输入持续学习图像识别模型中， 新增特 征提取器和FC层； 利用知识蒸馏训练持续学习图像识别模型， 并使用剪枝策略去除新增特征提取器 中不 重要的卷积核； 对新增类别数据及历史类别数据使用Rehearsal策略， 保存部分类别数据； 将待测试 数据输入持续学习图像识别模型中进行测试， 获得图像识别结果。 2.根据权利要求1所述的基于模型参数和剪枝策略的持续学习图像识别方法， 其特征 在于， 所述持续学习图像识别模型中的特 征提取器与FC层一 一对应， 数量 一致。 3.根据权利要求2所述的基于模型参数和剪枝策略的持续学习图像识别方法， 其特征 在于， 所述 新增特征提取器和FC层， 具体指： 当第T轮收集到新增类别数据时， 在持续学习图像识别模型中新增第T个特征提取器及 对应的第T个FC层。 4.根据权利要求3所述的基于模型参数和剪枝策略的持续学习图像识别方法， 其特征 在于， 所述利用知识蒸馏训练持续学习图像识别模型， 具体为： 固定持续学习图像识别 模型中前T ‑1轮特征提取器的模型参数， 利用第T ‑1轮特征提取 器的权重初始化第T轮特 征提取器； 第T轮特征提取器在新增类别数据上通过交叉熵函数进行训练， 并通过知识蒸馏损 失 函数， 将知识从第T ‑1轮特征提取器中蒸馏至第T轮特 征提取器。 5.根据权利要求4所述的基于模型参数和剪枝策略的持续学习图像识别方法， 其特征 在于， 所述使用剪枝策略去除新增特 征提取器中不重要的卷积核， 具体为： 新增特征提取器中每一层都会使用BN层， 其表达式为： Y＝Ax+B 其中， Y表示BN层的输出， A、 B均 为可学习参数， 维度与卷积核个数一致， x为新增特征提 取器中卷积层的输出； 对A施加一个L1正则项， 使其取值趋于0， 表示新增特征提取器中卷积层提取的特征不 重要； 若A取值趋 近于0， 则将A对应的卷积核从新增特 征提取器中去除。 6.根据权利要求5所述的基于模型参数和剪枝策略的持续学习图像识别方法， 其特征 在于， 所述保存部分类别数据， 具体为： 使用Rehearsal策略保留部分历史类别数据； 设历史类别数据中共有K张图像和N个类别， 则每个类别保存K/N张图像， 抛弃每个类别 中多于K/N张的图像， 得到 部分历史类别数据； 将新增类别数据通过herding策略采样； 将每个类别的新增类别数据输入到持续学习 图像识别模型中， 提取 特征向量；权　利　要　求　书 1/2 页 2 CN 114418094 A 2计算每个类别特征向量的平均值， 作为该类别的类别中心； 从新增类别图像数据中选择K/N张图像与部分历史类别数据进行合并， 得到并保存部 分类别数据， 留待下一次训练。 7.根据权利要求6所述的基于模型参数和剪枝策略的持续学习图像识别方法， 其特征 在于， 所述获得图像识别结果， 具体为： 对待测试 数据进行 预处理操作； 将预处理后的待测试 数据输入到T个特 征提取器中进行 特征提取， 输出 特征向量； 将输出的T个特 征向量输入到T个FC层中， 进行 特征的筛选过滤； 将T个FC层的输出做 平均， 得到最终特 征向量； 将最终特 征向量输入到NM E分类器中进行分类， 获得图像识别结果。 8.根据权利要求7所述的基于模型参数和剪枝策略的图像识别方法， 其特征在于， 所述 NME分类器是基于特征相似度的分类器， 在特征空间中， 根据每个类别的类别中心， 计算待 测试数据的最终特征向量与类别中心之 间的相似度， 最 终将待测试数据分类为相似度最高 的类别。 9.基于模型参数和剪枝策略的持续学习图像识别系统， 其特征在于， 应用于权利要求 1‑8中任一项所述的基于模型参数和剪枝策略的持续学习图像识别方法， 包括数据收集模 块、 模型构建模块、 数据组成模块、 模 型新增模块、 训练剪枝模块、 数据保存模块和图像识别 模块； 所述数据收集模块用于收集 新增类别数据及历史类别数据； 所述模型构建模块用于构建持续学习图像识别模型； 所述持续学习图像识别模型包括 多个特征提取器、 多个FC层和NM E分类器； 所述数据组成模块用于将新增类别数据与Rehearsal策略保存的部分旧类别数据合 并， 组成训练数据； 所述模型新增模块将训练数据输入持续学习图像识别模型中， 新增特征提取器和FC 层； 所述训练剪枝模块利用知识蒸馏训练持续学习图像识别模型， 并使用剪枝策略去除新 增特征提取器中不重要的卷积核； 所述数据保存模块对新增类别数据及历史类别数据使用Rehearsal策略， 保存部分类 别数据留待下次使用； 所述图像识别模块用于将待测试数据输入持续学习图像识别模型中进行测试， 获得图 像识别结果。 10.一种计算机可读存储介质， 存储有程序， 其特征在于， 所述程序被处理器执行时， 实 现权利要求1 ‑8任一项所述的基于模型参数和剪枝策略的持续学习图像识别方法。权　利　要　求　书 2/2 页 3 CN 114418094 A 3