レイヤー正規化

レイヤー正規化（Layer Normalization、LayerNorm）とは、ニューラルネットワークの各層において、1つのサンプル内のすべての特徴量にわたって平均0・分散1に正規化する手法です。Baらが2016年に提案し、Transformerの標準的な構成要素として採用されています。

バッチ正規化（Batch Normalization）との違いとして、バッチ正規化はミニバッチの方向（サンプル間）で正規化するため、バッチサイズが小さいと統計が不安定になります。一方レイヤー正規化は1サンプル内の特徴量次元方向で正規化するためバッチサイズに依存せず、可変長シーケンスや小バッチでの学習に適しています。これがTransformerでの採用理由です。

Transformerでの配置パターンとして、元の「Attention Is All You Need」論文はアテンション・フィードフォワード層の後に適用する「Post-LN」方式を採用しましたが、現代の多くのLLM（GPT系・Llama等）は各層の前に適用する「Pre-LN」方式を採用しています。Pre-LNは学習安定性が高く大規模モデルの訓練に有利とされています。

発展形としてRMSNorm（Root Mean Square Layer Normalization）がLlamaシリーズで採用されており、平均の計算を省略してRMSのみで正規化することで計算コストを削減しつつ同等の性能を実現しています。