過学習（オーバーフィッティング）

過学習（Overfitting）とは、機械学習モデルが訓練データのパターンを「覚えすぎて」しまい、訓練データに対する性能は高いのに未見のテストデータに対しては精度が低下する現象です。モデルが訓練データのノイズや特殊事例まで記憶してしまい、本質的なパターンの汎化に失敗した状態です。

過学習が重要な問題として認識されている理由は、実際の機械学習アプリケーションでは訓練データではなく「新しいデータに対する性能」が重要だからです。訓練データで99%の精度を達成しても、実運用で70%しか出なければ意味がありません。特にモデルサイズに比べて訓練データが少ない場合、深層モデルは過学習しやすい傾向があります。

対策として、正則化（L1/L2正則化でパラメータの過剰な増大を抑制）、ドロップアウト（学習中にランダムにニューロンを無効化）、データ拡張（既存データを変換して多様性を増やす）、早期終了（検証データの性能が悪化し始めたら学習を止める）、バッチ正規化などがあります。LLMのfine-tuning文脈では、少量のドメイン固有データで大きなモデルをfine-tuningすると過学習が起きやすく、LoRAなどのPEFT手法が過学習を抑えながら効率的な適応を実現します。