長文生成

長文生成（Long-form Generation）とは、LLMが短い回答や要約にとどまらず、数千〜数万トークンに及ぶ長いコンテンツ（技術レポート・ビジネス文書・小説・学術論文など）を一貫性を持って生成する技術です。

短文生成と比べて独自の課題があります。一貫性の維持（冒頭で述べた内容を後半で矛盾なく継続する）、構造の管理（章・節・段落の論理的な流れ）、コンテキストウィンドウの制限（長くなるほど前半の情報が薄れる「long-range dependency問題」）、繰り返し・発散の防止などです。

実装アプローチとして、まずアウトラインを生成してから各セクションを展開する「アウトライン駆動生成」、前のセクションの要約を次のコンテキストに組み込む「ローリングサマリー」、複数エージェントが分担して書く「マルチエージェント執筆」などがあります。

AnthropicのClaudeはProjectsとExtended Thinking機能を組み合わせることで長文生成の品質が向上しています。OpenAIはo1・o3モデルでの長文タスク対応を強化しています。