TPU（テンソル処理ユニット）

TPU（Tensor Processing Unit：テンソル処理ユニット）とは、Googleが機械学習・深層学習のワークロード、特にニューラルネットワークで大量に行われる行列演算（テンソル演算）を高効率に処理するために設計・開発したカスタムASIC（Application-Specific Integrated Circuit）です。Googleが2016年に内部利用を開始し、2017年に論文で公開しました。

TPUが重要な理由は、汎用GPU（グラフィクス処理も考慮した設計）と比べて、AI推論・学習に特化した設計により特定のワークロードで高いコスト効率・電力効率を実現するためです。GoogleのGemini・PaLMなどの大規模モデルはTPU Podsで学習されており、研究規模での性能実績があります。

Google Cloud上でCloud TPUとして外部提供されており、Google Colabでも一部利用可能です。TPU v4・v5シリーズでは積層型メモリとHBM（High Bandwidth Memory）を採用し、大規模LLMの学習効率を高めています。NVIDIAのGPU（H100・A100）が業界標準としてデファクトになっている一方、TPUはGoogle製品・研究での主力ハードウェアです。量子化や混合精度（bfloat16）との組み合わせでTPUの効率をさらに引き出すことができます。vramの概念はGPUに特有ですが、TPUではHBM帯域幅が対応するボトルネックとなります。