ハイパーパラメータ

ハイパーパラメータ（Hyperparameter）とは、機械学習モデルの訓練プロセス自体を制御するパラメータであり、データから自動的に学習されるモデルパラメータ（重み）とは異なり、学習開始前に人間（または自動化ツール）が設定する外部パラメータです。

ハイパーパラメータが重要な理由は、同じモデルアーキテクチャとデータを使っても、ハイパーパラメータの設定によって性能が大きく変わるためです。最適なハイパーパラメータを見つけることは「ハイパーパラメータ最適化（HPO）」と呼ばれる独立した研究・実践領域です。

主なハイパーパラメータとして、learning-rate（更新量の大きさ）、バッチサイズ（一度に処理するサンプル数）、エポック数（訓練データを何周するか）、モデルの層数・幅（アーキテクチャパラメータ）、正則化係数、ドロップアウト率、temperature（LLMの出力多様性）などがあります。LLMのfine-tuning文脈では、learning-rate・warm-upステップ数・LoRAのrank値などが重要なハイパーパラメータです。探索手法としてグリッドサーチ・ランダムサーチ・ベイズ最適化があり、automlがこれを自動化します。Weights & Biases（W&B）Sweepなどのツールが体系的な探索を支援します。