正則化

正則化（Regularization）とは、機械学習・深層学習モデルが学習データに過度に適合する「過学習（Overfitting）」を防ぐために、モデルの複雑さに対してペナルティを加えたり、ランダム性を導入したりする手法の総称です。未知のデータへの汎化性能（汎化誤差の低減）を高めることが目的です。

主要な正則化手法として、(1)L2正則化（Ridge）：損失関数に重みの二乗和のペナルティを加え、重みを0に近づける。Weight DecayとしてAdamWオプティマイザーに組み込まれ大規模LLM訓練の標準、(2)L1正則化（Lasso）：重みの絶対値和のペナルティで、不要な特徴の重みを完全に0にするスパース化効果、(3)Dropout：ランダムにニューロンを無効化、(4)Early Stopping：検証損失が悪化し始めたら学習を早期終了、(5)データ拡張（Data Augmentation）：学習データを人工的に増やして多様性を高める、(6)バッチ正規化・レイヤー正規化：活性化を正規化して学習を安定化します。

LLMのファインチューニングでは、Weight Decay（通常0.01〜0.1）がAdamWオプティマイザーのパラメータとして設定されます。過学習しやすい少量データでのファインチューニング（数十〜数百サンプル）ではDropout・Early Stoppingの併用が特に重要です。

正則化のトレードオフとして、強すぎる正則化はモデルを単純化しすぎて「過小適合（Underfitting）」を引き起こします。バリデーションセットで汎化誤差を監視しながら正則化の強さを調整することが実践上のポイントです。