一文定義
ニューラルスケーリングとは、モデルサイズ・データ量・計算量を増やすと予測可能な形で性能が向上する法則の実証的研究で、Chinchilla法則がパラメータとデータの最適比率を示しLLM開発の指針となっています。
詳細解説
ニューラルスケーリング（Neural Scaling）とは、ニューラルネットワークにおいて、モデルのパラメータ数・学習データ量・計算量（FLOPs）を増やすにつれて、性能（損失）が冪乗則（Power Law）に従って予測可能に向上することを示す経験的法則の研究領域です。
**Kaplan et al.（2020年）のスケーリング則：** OpenAIが発表した先駆的研究で、以下を示しました： - モデルサイズ、データセットサイズ、計算予算のいずれかを増やすと性能向上 - 三者はほぼ均等に重要で、一方だけ増やすと他がボトルネックに - 推奨：計算予算の多くをモデルサイズ拡大に使う
**Chinchilla法則（Hoffmann et al. 2022年）：** Google DeepMindがKaplan則を修正した重要研究： - **最適比率**：モデルパラメータ数N ≈ 学習トークン数D（N≒D） - GPT-3（175B params / 300Bトークン）はデータ不足だったと指摘 - Chinchillaモデル（70B / 1.4Tトークン）はGopher（280B）を上回った - **実務的示唆**：パラメータを増やすよりデータを増やす方がコスパが良い場面がある
**スケーリングの限界と論争：** - **データの壁**：インターネット上の高品質テキストは有限（2026年頃に飽和の懸念） - **アーキテクチャの違い**：MoE・SSM等では別のスケーリング特性 - **推論時スケーリング**（Test-Time Compute）：学習だけでなく推論時の計算増加も性能向上に寄与（o1系モデル） - **創発的能力**：特定の規模で突然新能力が現れる現象（一部は測定アーティファクトとの説も）
スケーリング則はLLM開発の基本設計思想となっており、「どのくらいの規模でどの性能が期待できるか」を事前予測できるため、巨大な学習コストを投じる前の計画立案に不可欠です。
参考情報・出典
- ▸Scaling Laws for Neural Language Models— arXiv / Kaplan et al. / OpenAI（参照日: 2026-02-26）
- ▸Training Compute-Optimal Large Language Models (Chinchilla)— arXiv / Hoffmann et al. / DeepMind（参照日: 2026-02-26）