コンテキストウィンドウ

コンテキストウィンドウ（Context Window）とは、LLMが一度の推論で入出力として処理できるトークン数の上限を指します。入力プロンプト（システムプロンプト＋会話履歴＋新しい質問）と出力（回答）の合計がこの上限に収まる必要があります。

コンテキストウィンドウの大きさが重要な理由は、それがモデルの「短期記憶」の容量を決めるためです。長い書類の要約、長期にわたる会話の文脈保持、複数のソースを同時参照するRAGなど、すべてコンテキストウィンドウ内に収める必要があります。

2024年以降、コンテキストウィンドウは急速に拡大しています。GPT-4oは128K、Claude 3.5 Sonnetは200Kトークンに対応します（2024年時点）。一方で、コンテキストが長くなるほどAPIコストが増加し、注意機構（Attention）の計算量も増えるため、必要な情報のみを渡すプロンプト設計が依然として重要です。