プロンプトキャッシング

プロンプトキャッシング（Prompt Caching）とは、APIリクエスト毎に全プロンプトを再処理するのではなく、変化しない部分（システムプロンプト・長文コンテキスト・ドキュメントなど）をプロバイダーのサーバー上にキャッシュし、再利用することでトークン処理コストと応答レイテンシを削減する機能です。

プロンプトキャッシングが重要な理由は、RAGシステムや長文コンテキストを多用するアプリケーションでは、同一のベースプロンプトに対して何千ものリクエストが発生するため、キャッシュなしでは費用が線形に増大するからです。一度キャッシュが生成されると、そのトークン処理コストが大幅に削減（Anthropicの場合は最大90%削減）されます。

AnthropicはClaude APIでプロンプトキャッシングをサポートし、"cache_control"パラメータでキャッシュポイントを指定できます。OpenAIも一定の文字数以上のプロンプトに対して自動的にプロンプトキャッシングを適用する仕組みを持っています。長いシステムプロンプト・共通のコンテキスト・数十ページのドキュメントを繰り返し参照するユースケースで特に効果的です。