深度学习驱动的神经结构搜索进展：算法与策略综述

随着深度学习在计算机视觉领域的广泛应用和显著成果，神经网络架构（Neural Architecture, NAS）的重要性日益凸显。全自动的神经结构搜索方法旨在通过自动化的方式，针对特定任务设计出最优化的深度神经网络结构，从而提升模型的性能和效率。这种研究领域的发展受到越来越多的关注，因为它能有效地解决人工设计神经网络结构的繁琐过程。 性能评估方法是神经结构搜索的核心组成部分。文章重点介绍了四种旨在减少计算成本的性能评估方法，这些方法包括但不限于快速原型评估（如早期停止或剪枝），基于统计的评估（如准确率与模型大小的关系预测），以及利用代理模型（如预训练模型）来估计目标模型性能。这些方法旨在提高搜索效率，同时保持对模型性能的准确度。 神经结构搜索空间则是搜索算法探索的范围，分为两类典型类型：离散空间和连续空间。离散空间搜索通常涉及固定长度或有限数量的结构组合，例如固定的卷积层、池化层和全连接层的排列。而连续空间搜索则更为灵活，允许神经元、连接权重和网络结构参数连续变化，如DARTS（混合精度路径搜索）等方法，这使得搜索到的架构更有可能发现非局部最优解。 搜索策略决定了搜索过程中的决策方式。基于离散空间的搜索策略可能采用贪心算法、遗传算法或基于进化的方法，如遗传编程。而基于连续空间的搜索策略，如梯度导数和强化学习，如enas（进化策略 NAS）或pgnas（概率性规划 NAS），通常依赖于连续优化算法，能够更好地处理复杂的结构搜索问题。 当前，基于连续空间的神经架构搜索（NAS）算法正在成为主流趋势。相较于离散搜索，连续空间方法可以更高效地搜索到具有更优性能的神经网络结构，但其计算成本相对较高。然而，随着硬件的进步和算法优化，研究人员不断寻求平衡计算效率与搜索质量的方法，以实现在深度学习领域的广泛应用。 总结来说，神经结构搜索作为深度学习领域的重要分支，正在不断发展和完善，通过优化性能评估、扩大搜索空间和改进搜索策略，为实现更高效、高性能的深度神经网络提供了强大的工具。未来的研究将聚焦于进一步降低成本、提高搜索效率，以及探索更有效的整合不同搜索策略的融合方法。