Groq

Groqとは、独自開発のLPU（Language Processing Unit）チップにより、LLMの推論を超高速・低レイテンシで提供するAIインフラ企業およびクラウドAPIサービスです。Jonathan Rossが2016年に設立し、従来のGPUベースの推論と比較して数倍〜数十倍の高速処理を実現しています。

設計思想として、Groqは「推論に特化したハードウェア」を志向しています。NVIDIAのGPUが汎用的な並列計算に優れているのに対し、GroqのLPUはTransformerモデルの推論に特化した回路設計（TSP: Tensor Streaming Processor）を採用し、メモリ帯域のボトルネックを解消しています。この結果、Llama 3等のモデルで毎秒500トークン以上の出力速度を達成しています。

主要機能として、(1)超高速推論API：Llama 3.1・Mistral・Gemma等のオープンソースモデルをOpenAI互換APIで提供。レイテンシはミリ秒単位、(2)バッチ推論：大量のリクエストを効率的に処理するバッチAPIを提供、(3)ツールユース：Function Calling対応でエージェントアプリケーションの構築が可能、(4)JSON Mode：構造化出力の生成に対応を提供します。

LLMアプリ開発での活用として、リアルタイム性が求められるチャットボット・音声AI・ゲームNPC等のユースケースで特に威力を発揮します。APIがOpenAI互換のため、LangChain・LlamaIndex等のフレームワークから`base_url`を変更するだけで利用開始でき、既存のOpenAIベースのコードからの移行が容易です。なお、Groq（LPUチップの会社）とGrok（xAIの大規模言語モデル）は名前が似ていますが、まったく別のプロダクトです。