(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210671640.X (22)申请日 2022.06.14 (71)申请人 厦门大学 地址 361005 福建省厦门市思明区思明南 路422号 (72)发明人 纪荣嵘　郑侠武　晁飞　费翔　 张雷　 (74)专利代理 机构 厦门南强之 路专利事务所 (普通合伙) 35200 专利代理师 马应森 (51)Int.Cl. G06F 16/53(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/762(2022.01)G06V 10/774(2022.01) (54)发明名称 一种基于表征互信息的网络结构搜索方法 (57)摘要 一种基于表征 互信息的网络结构 搜索方法， 涉及人工智能技术领域。 在神经网络搜索空间 中， 随机采样n个神经网络， 利用RMI联合分类损 失函数训练网络， 计算n个网络的RMI 分数、 q分位 数τ， 训练拟合随机森林分类器π； 从整个神经 网络搜索空间随机抽取一批新的网络， 从中找到 概率最大的一个网络， 利用损失函数训练网络， 计算其RMI分数， 重新拟合训练新的随机森林模 型π， 判断随机森林训练样本中新网络数量是否 达到N， 将得到的所有优秀网络样本集中网络结 构的众数作最终输出的最优网络结构， 利用优秀 网络结构集上的统计规律， 获得最可能的最优架 构。 高效、 快速， 并可推广到不同的搜索空间。 使 用RMI和随机森林有效探索整个 搜索空间。 权利要求书1页 说明书5页 附图1页 CN 114896436 A 2022.08.12 CN 114896436 A 1.一种基于表征互信息的网络结构搜索方法， 其特 征在于包括以下步骤： 1)对于给定的神经网络搜索空间， 设定参照网络α+、 采样网络优异结构数量N、 RMI阈值 百分比q； 2)在神经网络搜索空间中， 随机采样n个神经网络， 利用RMI联合分类损失函数训练网 络， 并计算 n个网络的RMI分数； 3)计算n个网络结构RMI的q分位数τ， 训练拟合随机森林分类 器 π； 4)从整个神经网络搜索空间随机抽取一批新的网络， 随机森林分类器π对这批网络结 构给出标签为1的概 率， 从中找到概 率最大的一个网络； 5)将步骤4)中找到的网络利用步骤2)的损失函数训练网络， 并计算 其RMI分数； 6)在步骤5)中计算好的新网络结构RMI分数， 更新随机森林分类器π， 新网络RMI分数低 于τ， 将新网络标记为1， 否则标记为0； 然后将其扩充至随机森林训练样本集中， 重新拟合训 练新的随机森林模型π， 以提高随机森林对 优秀网络结构样本拟合能力； 7)判断随机森林训练样本中标签为1的网络数量是否达到采样网络优异结构数量N， 若 达到， 进入步骤8)； 否则返回步骤3)； 8)计算步骤7)得到的所有优秀网络样本集中网络结构的众数作最终输出的最优网络 结构， 利用优秀网络结构集上的统计规 律， 获得最可能的最优架构。 2.如权利要求1所述一种基于表征互信息的网络结构搜索方法， 其特征在于在步骤2) 中， 所述RMI分数与损失函数计算公式分别为： 其中， X为网络的特征图张量， X+为参照网络α+的特征图张量， 为常规的网络分类损 失， ||·||F为Frobenius范数； 网络训练代价相比其他NAS算法有显著降低， 因为该训练过 程只需要一个批次的训练数据， 同时RMI分数计算非常高效， 计算复杂度为 即关于样 本数的平方阶； 实际中， 在单个GPU和CPU的环境几秒内即能完成。 3.如权利要求1所述一种基于表征互信息的网络结构搜索方法， 其特征在于在步骤3) 中， 所述计算n个网络结构RMI的q分位数τ， 训练拟合随机森 林分类器π 的具体步骤为： 将RMI 低于τ 的网络结构标记为1， 高于τ 的标为0， 并用这个监督信息来训练拟合随机森林分类器 π， 由于随机森林的拟合速度很快， 在整个NAS算法中几乎不带来 额外时间代价。 4.如权利要求1所述一种基于表征互信息的网络结构搜索方法， 其特征在于在步骤8) 中， 所述网络结构的众 数为概率密度极大值 点， 即： 其中， 为第i个操作算子在标签为1的网络中出现的频次， Mo代 表取众数操作。权　利　要　求　书 1/1 页 2 CN 114896436 A 2一种基于表征互信息的网 络结构搜索方 法 技术领域 [0001]本发明涉及人工智能技术领域， 尤其是涉及一种基于表征互信息的网络结构搜索 方法。 背景技术 [0002]近年来， 随着人工智能以及深度学习的发展， 人们对于定制化的深度学习网络结 构开始出现指数级别的增长。 用户更多的希望深度学习对于当前自身的任务， 产生定制化 的网络结构以及参数， 神经网络结构检索系统由此产生。 给定数据集， 神经架构搜索(NAS) 旨在通过搜索算法在巨大的搜索空间中发现高性能卷积架构。 NAS在各种深度学习任务的 自动化架构搜索中取得很大成功， 例如图像分类， 语言建模和语义分割。 如T.DeVries (T.DeVries  and G.W.Taylor.Improved  regularization  of convolutional  neural  networks  with cutout.arXiv  preprint  arXiv:1708.04552,2017.)中所述， 神经架构搜 索方法由三部分组成： 搜索空间， 搜索策略和性能评估。 通过大量实验， Xiawu  Zheng(Xiawu   Zheng,Rongrong  Ji,Qiang  Wang,Qixiang  Ye,Zhenguo  Li,Yonghong  Tian,and  Qi  Tian.Rethinking  performance  estimation  in neural architecture  search.In CVPR, 2020.)证明性能评估 是NAS中最重要的组成部分。 性能评估的关键挑战是在准确性、 泛化性 和计算成本之间进行权衡。 虽然基于多保真度和精度预测的方法是准确的， 并且可以推广 到不同的搜索空间， 但是这种方法需要大量的计算资源， 这阻碍了NAS在实际应用中的使 用。 Esteban  Real(Esteban  Real,Alok  Aggarwal,Yanping  Huang,and  Quoc V  Le.Regularized  evolution  for image classifier  architecture  search.arXiv, 2018.)在CIFAR ‑10数据集上搜索最优的算法需要消耗3150个GPU天 的资源。 目前常用的方 法大多通过牺牲准确性为代价， 提高搜索速度， 例如Hanxiao  Liu(Hanxiao  Liu,Karen   Simonyan,and  Yiming Yang.DARTS:Differentiable  architecture  search.In  ICLR, 2019)提出的可微分架构 搜索方法， 将 搜索加速到仅需1个 GPU天的资源。 本方法在实现高于 可微分架构搜索方法的准确率的同时， 将搜索资源进一 步降低到 0.08GPU天。 发明内容 [0003]本发明的目的在于针对现有技术存在的需要消耗大量计算资源等问题， 提供获得 良好精度的网络结构， 利用RMI分数探索搜索空间， 通过 随机森林样本过滤， 加快对未知区 域探索的一种基于表征互信息的网络结构搜索方法。 [0004]本发明包括以下步骤： [0005]1)对于给定的神经网络搜索空间， 设定参照网络α+、 采样网络优异结构数量N、 RMI 阈值百分比q； [0006]2)在神经网络搜索空间中， 随机采样n个神 经网络， 利用RMI联合分类损失函数训 练网络， 计算 n个网络的RMI分数； [0007]3)计算n个网络结构RMI的q分位数τ， 训练拟合随机森林分类 器 π；说　明　书 1/5 页 3 CN 114896436 A 3