ニューラルアーキテクチャ探索

ニューラルアーキテクチャ探索（Neural Architecture Search, NAS）とは、機械学習タスクに対して最適なニューラルネットワークの構造（層数・幅・接続パターン・活性化関数等）を自動的に探索するAutoML技術の一分野です。熟練した研究者が数週間かけて手設計していたアーキテクチャを、自動化されたサーチアルゴリズムで探索します。

NASの主要アプローチとして、(1)強化学習ベース（Zoph & Le 2017）：コントローラーRNNがアーキテクチャを生成し、学習させた子モデルの精度を報酬として強化学習でコントローラーを改善（計算コストが高い）、(2)進化的アルゴリズム：集団遺伝学的な変異・交叉でアーキテクチャを進化、(3)勾配ベース（DARTS：Differentiable Architecture Search）：アーキテクチャ選択を連続緩和して勾配降下法で最適化するため高速、(4)ランダムサーチ＋早期終了（Random NAS）があります。

NASの成果として、EfficientNet・NASNet・MobileNetV3など、人間設計のネットワークを超える精度・効率性を持つアーキテクチャが自動的に発見されています。

LLMの文脈では、Transformerのヘッド数・層数・FFN幅の最適化にNASを応用する研究が進んでいますが、訓練コストの大きさから実用化は限定的です。ハードウェア制約（推論レイテンシ・メモリ）を考慮したHardware-Aware NASが実装向けに注目されています。