トークナイザー

トークナイザー（Tokenizer）とは、人間が扱うテキスト文字列をLLMが処理できる「トークン」という単位に変換（トークン化）するアルゴリズム・ツールです。LLMはテキストを直接処理するのではなく、トークナイザーによって数値IDに変換されたトークン列を入力として受け取ります。

主要なトークン化手法として、BPE（Byte-Pair Encoding）はOpenAIのGPTシリーズが採用する手法で、頻出する文字・単語のペアを繰り返し結合して語彙を構築します。WordPieceはBERTが採用し、サブワード分割を行います。SentencePieceはGoogleが開発した言語非依存のサブワード分割ライブラリです。

日本語におけるトークナイザーの重要性は特に高く、日本語は英語より同じ内容を表現するのに多くのトークンを消費する傾向があります（文字単位・形態素単位での分割になりやすいため）。例えば「東京オリンピック」は英語の "Tokyo Olympics" より多くのトークンに分割されることがあります。これはAPIの利用コスト・コンテキストウィンドウの消費効率に直接影響します。モデルごとにトークナイザーが異なり、GPT-4のtiktoken、Claudeのトークナイザーなどはそれぞれ日本語の効率が異なります。Hugging Face Tokenizersライブラリでは各モデルのトークナイザーを簡単に利用・比較できます。