RNN（リカレントニューラルネットワーク）

RNN（Recurrent Neural Network：リカレントニューラルネットワーク）とは、前の時刻の隠れ状態（hidden state）を次の時刻の入力に持ち込む「フィードバック接続」を持つニューラルネットワークです。時系列データ・テキスト・音声など「順序が意味を持つ系列データ」の処理に設計されています。

RNNが重要だった理由は、固定長の入力しか受け取れないFNNとは異なり、可変長の系列データを扱える点です。2010年代のNLP・音声認識の主要アーキテクチャとして、機械翻訳・言語モデル・音声認識システムに広く使われました。

しかしRNNは「勾配消失問題（長い系列で古い情報の勾配が消えてしまう）」という本質的な課題を抱えます。LSTM（Long Short-Term Memory）とGRU（Gated Recurrent Unit）はゲーティング機構でこの問題を緩和した発展形です。2017年のTransformerの登場により、RNN・LSTMはNLPの主役の座をAttentionメカニズムベースのモデルに譲りました。現在も軽量なオンデバイス推論や時系列予測の一部での活用が続いていますが、LLMはほぼすべてtransformerアーキテクチャを採用しています。encoder-decoderアーキテクチャも元々はRNNで実装されていました。