(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210420020.9 (22)申请日 2022.04.21 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 (72)发明人 马华东　傅慧源　刘培业　 (74)专利代理 机构 北京风雅颂专利代理有限公 司 11403 专利代理师 陈莉 (51)Int.Cl. G06V 10/44(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面向图像处理的神经网络优化方法及相关 装置 (57)摘要 本申请提供一种面向图像处理的神经网络 优化方法及相关装置； 所述方法包括： 获取多个 预选神经网络， 对全部所述预选神经网络进行多 轮次的迭代， 在每个轮次的迭代中， 对前轮次中 的候选神经网络执行增减枝策略， 得到多个第二 神经网络， 利用结构控制器中的嵌入层、 编码层 和排序层， 对第二神经网络 之间进行相对位置的 排序， 确定多个第三神经网络， 通过对第三神经 网络进行双向蒸馏迁移， 得到该轮次的多个候选 神经网络， 并在多个候选神经网络中确定本轮次 的一个目标神经网络， 响应于确定达到预设的第 一迭代指标， 输出最后轮次得到的目标神经网 络。 可见， 本方法在迭代过程中利用相对排序的 方式选出最优的神经网络， 简化了训练测试每个 神经网络的过程。 权利要求书3页 说明书17页 附图3页 CN 115035308 A 2022.09.09 CN 115035308 A 1.一种面向图像处 理的神经网络优化方法， 包括： 获取多个预选神经网络， 对全部所述预选神经网络进行多轮次的迭代， 在每个轮次中 得到该轮次的多个候选神经网络和一个目标神经网络， 响应于确定达到预设的第一迭代指 标， 输出最后轮次得到的目标神经网络； 对所述多轮次的迭代中的每一轮次迭代执 行如下操作： 响应于当前轮次为首轮次， 将所述多个预选神经网络作为当前轮次的多个第 一神经网 络； 响应于当前轮次非首轮次， 将前一轮次的所述多个候选神经网络作为当前轮次的多个 第一神经网络； 通过对所述多个第一神经网络中的每个第一神经网络中增加神经节点和减少神经节 点， 得到当前轮次的多个第二神经网络； 利用当前轮次的每个所述第二神经网络运行时的准确率和内存消耗构建评测指标函 数， 利用所述评测指标函数构建排序损失函数， 利用排序损失函数确定当前轮次的多个第 三神经网络； 响应于当前轮次为首轮次， 在所述多个预选神经网络中确定辅助神经网络， 利用所述 辅助神经网络对当前轮次的所述多个第三神经网络进 行双向蒸馏迁移， 响应于 当前轮次非 首轮次， 利用前一轮次的所述目标神经网络对当前轮次的所述多个第三神经网络进行双向 蒸馏迁移， 将所述双向蒸馏迁移的结果作为当前轮次的所述多个候选神经网络， 在所述多 个候选神经网络中确定当前轮次的所述目标神经网络 。 2.根据权利要求1所述的方法， 其特 征在于， 所述获取多个预选神经网络， 包括： 构建第一预定个数的结构块； 其中， 对于全部所述结构块中的每 个所述结构块执 行如下操作： 将预置的操作类型集合中的每个操作类型分别作为神经层的操作类型， 以得到多个神 经节点， 每个所述神经节点包括两个所述神经层， 每个所述神经层 对应一个所述操作类型， 所述多个神经节点中的任意两个神经节点包 含的所述操作类型互不相同； 从所述多个神经节点中选取任意 一个神经节点置入该 结构块中； 将全部所述结构块进行级联， 得到初始主干神经网络； 对所述初始主干神经网络进行多轮次的增减枝迭代， 并在每个轮次中得到该轮次的多 个初始神经网络； 响应于确定达到预设的第 二迭代指标， 输出最后轮次的多个初始神经网络作为所述多 个预选神经网络； 其中， 对所述多轮次的增减枝迭代中的每 个轮次执行如下操作： 响应于当前轮次为首轮次， 将所述初始主干神经网络作为当前轮次的输入神经网络， 响应于当前轮次非首轮次， 将前一轮次的多个初始神经网络作为当前轮次的输入神经网 络； 基于所述输入神经网络 中的每个所述结构块中的全部所述神经节点， 通过增加神经节 点和减少神经节点以得到该 结构块的多个第一 候选结构块； 基于所述第 一预定个数和每个所述结构块的所述多个第 一候选结构块， 通过组合得到 当前轮次的多个初始神经网络 。权　利　要　求　书 1/3 页 2 CN 115035308 A 23.根据权利要求2所述的方法， 其特征在于， 所述通过对所述多个第 一神经网络 中的每 个第一神经网络中增加神经节点和减少神经节点， 得到当前轮次的多个第二神经网络， 包 括： 针对每个所述第一神经网络中的每 个所述结构块执 行如下操作： 向所述结构块中增加一个新的神经节点， 基于所述新的神经节点的加入位置、 其所包 含的全部所述操作类型及与所述结构块中的神经节点的连接方式， 确定该结构块的多个新 增结构块； 从该结构块中的全部神经节点中任选一个神经节点进行删除， 得到该结构块的多个减 枝结构块； 将所述多个新增结构块和所述多个减枝结构块合并作为该所述结构块的多个第二候 选结构块； 基于所述第 一预定个数和全部所述多个第 二候选结构块， 确定当前轮次的所述多个第 二神经网络 。 4.根据权利要求2所述的方法， 其特征在于， 在所述利用当前轮次的每个所述第 二神经 网络运行时的准确率和内存消耗构建评测指标函数之前， 包括： 将当前轮次的每 个所述第二神经网络 输入到预置的结构控制器中； 利用所述结构控制器中的编码层将每个所述第二神经网络的结构特征转换为对应的 网络特征； 将所述网络特 征输入到所述结构控制器中的排序层； 所述利用当前轮次的每个所述第二神经网络运行时的准确率和内存消耗构建评测指 标函数， 包括： 确定当前轮次中每 个所述第二神经网络运行时的准确率和内存消耗； 确定前一轮次的目标神经网络运行时的准确率和内存消耗； 对于每个所述第二神经网络， 利用该第 二神经网络的准确率和前一轮次的目标神经网 络的准确率确定准确率评测项， 利用该第二神经网络的内存消耗和前一轮次的目标神经网 络的内存消耗确定内存消耗评测项； 将所述准确率评测项和所述内存消耗评测项按照预设的权重系数进行融合， 得到关于 该第二神经网络的评测指标函数。 5.根据权利要求4所述的方法， 其特征在于， 所述将每个所述第 二神经网络的结构特征 转换为对应的网络特 征， 包括： 对于每个所述第二神经网络中的每个结构块， 将该结构块中每个神经节点的位置、 连 接方式和其包含的全部所述操作类型分别进 行独热编 码， 得到每个结构块的块结构网络特 征； 将该第二神经网络的全部所述块结构网络特征输入到所述编码层， 得到该所述第 二神 经网络的网络特 征。 6.根据权利要求1所述的方法， 其特征在于， 所述利用所述评测指标函数构建排序损失 函数， 利用排序损失函数确定当前轮次的多个第三神经网络， 包括： 对于每个所述第二神经网络执 行如下操作： 确定该第二神经网络的真实位置排序；权　利　要　求　书 2/3 页 3 CN 115035308 A 3