Transformers（Hugging Faceライブラリ）

Transformers（Hugging Face Transformers）とは、Hugging Faceが開発・メンテナンスするオープンソースのPythonライブラリで、数千の事前学習済みモデル（LLM・画像認識・音声認識等）を数行のコードで利用できる、AI/ML開発における事実上の標準ライブラリです。2018年にBERTの実装ライブラリとして誕生し、現在はPyTorch・TensorFlow・JAXの3つのバックエンドに対応しています。

設計思想として、Transformersは「モデルの民主化」を志向しています。最先端のAIモデルを(1)ダウンロード→(2)推論実行→(3)ファインチューニングという3ステップで誰でも利用できるようにすることで、AI研究の再現性向上と実用化の加速を実現しています。Hugging Face Hub上の50万以上のモデルとシームレスに連携します。

主要APIとして、(1)Pipeline API：`pipeline("text-generation", model="meta-llama/Llama-3.1-8B")`のように、タスク名とモデル名を指定するだけで推論を実行できる最も簡単なインターフェース、(2)AutoClass：`AutoModelForCausalLM.from_pretrained()`でモデルアーキテクチャを自動判定してロード、(3)Tokenizer：`AutoTokenizer`でモデル専用のトークナイザーを自動選択、(4)Trainer API：学習ループ・評価・チェックポイント保存・分散学習を統合した高レベル学習APIを提供します。

LLM開発での中核的役割として、(1)モデル利用：Llama・Mistral・Qwen・Gemma等のオープンソースLLMをHub経由でダウンロードし即座に推論、(2)ファインチューニング：Trainer API + PEFT（LoRA/QLoRA）+ TRL（RLHF/DPO）の組み合わせでLLMのカスタマイズ、(3)評価：lm-evaluation-harnessやHugging Face Evaluateとの統合でモデル性能を測定、(4)デプロイ：Text Generation Inference（TGI）やvLLMと連携した本番環境への展開があります。エコシステムとして、Datasets・Accelerate・PEFT・TRL・Evaluate等の関連ライブラリが充実しています。