一文定義
因果言語モデルとは、左から右へ前のトークンのみに基づいて次のトークンを予測する自己回帰型言語モデリングで、GPT系列のデコーダーモデルすべてがこの学習目標を使用しテキスト生成の基盤となります。
詳細解説
因果言語モデル（Causal Language Model）とは、テキスト中のトークンを左から右へ順に、それ以前のトークンのみを条件として次のトークンを予測する確率モデルです。「因果（Causal）」とは、未来のトークンが現在の予測に影響しないという方向性を意味します。
学習時は入力テキストをそのままラベルとして使用する「次トークン予測」タスクで自己教師あり学習を行います。マスク言語モデル（MLM：BERT系）が文章の一部を隠して双方向に予測するのとは対照的に、因果言語モデルは単方向（左→右）の予測のみを行います。
GPT・Llama・Claude・Geminiなどの現代的なLLMはすべて因果言語モデルです。この学習目標により、プロンプトを入力すると自然に続きのテキストを生成できるようになります。BERTが文章理解タスクで優れるのに対し、因果言語モデルは生成タスクに本質的に適した設計です。インストラクションチューニングやRLHFなどのアラインメント手法はこの事前学習済みの因果言語モデルを出発点として行われます。
参考情報・出典
- ▸Improving Language Understanding by Generative Pre-Training (GPT-1)— OpenAI（参照日: 2026-02-26）
- ▸Language Models are Unsupervised Multitask Learners (GPT-2)— OpenAI（参照日: 2026-02-26）
最終更新: 2026-02-26← 用語集一覧へ