ストリーミング

ストリーミング（Streaming）とは、LLMがテキストを生成しながら、生成済みのトークンを逐次クライアントに送信する応答方式です。通常の「バッチ応答」では全文生成が完了してから一括送信されますが、ストリーミングでは文字が生成されるたびにリアルタイムで表示されます。

ストリーミングが重要な理由は、LLMの応答生成には数秒〜数十秒かかることがあり、その間ユーザーを待機させると体験が悪化するためです。ストリーミングにより「考えながら話している」ような自然なUXを実現でき、ユーザーの認知負荷を下げて読む準備ができます。

技術的にはServer-Sent Events（SSE）またはWebSocketを使って実装されることが多く、OpenAI APIでは「stream: true」パラメーター、Anthropic APIでは「stream」オプションで有効化できます。フロントエンドではストリームデータをチャンク単位で受信してUIに逐次描画します。ただし、ストリーミング中にエラーが発生した場合のハンドリングや、構造化出力（Structured Output）との併用など、実装上の考慮点もあります。