損失関数

損失関数（Loss Function）とは、機械学習モデルが出力した予測値と正解値（教師ラベル）のズレを数値で表す関数です。学習の目的は「損失関数の値を最小化するモデルパラメータを求めること」であり、勾配降下法と誤差逆伝播法を組み合わせて最適化が行われます。コスト関数・目的関数とも呼ばれます。

代表的な損失関数として、(1)平均二乗誤差（MSE）：回帰タスクで広く使われ、予測値と正解値の差の二乗平均を計算、(2)クロスエントロピー損失（Cross-Entropy Loss）：分類タスクの標準で、確率分布の乖離を測定、(3)バイナリクロスエントロピー：2値分類専用、(4)KLダイバージェンス：確率分布間の距離を測定し、変分オートエンコーダーや知識蒸留で利用されます。

LLMの学習においては、次のトークンを予測するタスクのクロスエントロピー損失が主に使われます。パープレキシティ（Perplexity）はこの損失を指数変換したもので、言語モデルの評価指標として広く使われています。

損失関数の選択はタスクの性質に依存します。回帰問題にはMSE・MAE、分類問題にはクロスエントロピー、生成モデルにはELBOなど、問題設定に合わせた適切な損失関数の設計がモデルの収束速度・最終性能に大きく影響します。