コンテキスト長

コンテキスト長（Context Length）とは、LLMが1回のリクエストで処理できるトークン数の上限値です。入力プロンプト（指示・会話履歴・参照文書）と出力テキストの合計トークン数がこの上限以内に収まる必要があります。一般に「コンテキストウィンドウ」と同義で使われることが多く、厳密にはモデルが一度に「参照できる」範囲を指します。

モデルごとのコンテキスト長の目安（2025年時点）：GPT-4oは128Kトークン（約9万語相当）、Claude 3.5は200Kトークン（約14万語相当）、Gemini 1.5 Proは最大1Mトークン（長大なドキュメント処理向け）。100Kトークンで書籍1冊程度が収まる計算です。

コンテキスト長が重要なビジネスシーンとして、(1)長文契約書・法律文書の一括分析、(2)長い会話履歴の保持（カスタマーサポートBot）、(3)大規模コードベースの解析・リファクタリング支援、(4)複数文書をまとめた比較レポート生成が挙げられます。

ただし長いコンテキストを使うほどAPIコストと推論レイテンシが増加します。「Lost-in-the-Middle」問題（コンテキスト中央付近の情報を参照しにくくなる現象）も報告されており、重要情報は先頭・末尾に配置する工夫や、プロンプトキャッシュの活用で効率化が図れます。