トークンバジェット

トークンバジェット（Token Budget）とは、LLMアプリケーションにおいて、一回のリクエストまたはセッション全体で使用できるトークン数の上限を事前に計画・管理する設計概念です。モデルのコンテキストウィンドウという物理的制約と、APIコストという経済的制約の両方を同時に最適化するための実践的なエンジニアリング手法です。

トークンバジェット管理の主要な要素： **プロンプトトークン**：System Prompt・ユーザーメッセージ・Few-shot例示など入力側のトークン消費を管理します。 **応答トークン（max_tokens）**：モデルが生成できる最大トークン数を制限し、コストと品質のバランスを取ります。 **コンテキストトークン**：RAGで取得した文書・会話履歴など動的に追加されるコンテキストのトークン配分を制御します。

実践的なバジェット戦略： **動的圧縮**：コンテキストが上限に近づいたら古い会話履歴を要約・削除してバジェットを回収します。 **優先度付き切り捨て**：重要度スコアに基づいてコンテキストを優先順に選別し、バジェット内に収めます。 **階層的バジェット配分**：System Prompt・Few-shot・RAGコンテキスト・会話履歴それぞれにサブバジェットを割り当てます。 **コスト見積もり**：リクエスト送信前にトークン数を推定（tiktoken等を使用）してコストを予算管理します。

Anthropicは「token budget」という概念をAPIドキュメントで明示的に使用しており、extended thinkingでの思考トークンの上限管理など、実装レベルでの重要性が増しています。LLMOpsの観点では、トークンバジェット管理は運用コスト最適化の中心的な実践です。