Ollama

Ollama（オラマ）とは、LLaMA・Mistral・Phi・Gemma・Qwenなどのオープンソース大規模言語モデルをローカルPC・サーバー上で簡単に実行できるツールです。Dockerのような感覚でモデルをpull・runでき、GPUがなくてもCPU推論に対応しているため、AIエンジニアや研究者がプライベートな環境でLLMを手軽に試せる点が支持されています。

主な特徴として、(1)シンプルなCLI：「ollama run llama3.2」のような一行コマンドでモデルのダウンロードと起動が完結、(2)OpenAI互換API：「localhost:11434」でOpenAI APIと同じエンドポイント形式でアクセスでき、既存のLangChain・LlamaIndex等のコードをそのまま流用可能、(3)Modelfile：モデルのカスタマイズ（システムプロンプト・量子化設定）をDockerfileライクな形式で定義、(4)マルチプラットフォーム：macOS（Apple Silicon最適化）・Linux・Windows（WSL2）に対応があります。

ビジネスでの活用シーンとして、(1)社内データをクラウドに送りたくないコンプライアンス要件への対応、(2)開発・テスト環境での無料API利用、(3)エッジデバイス・オンプレミス環境でのAI推論、(4)レイテンシが重要なユースケースでのローカル推論があります。

AnthropicのClaude・OpenAIのGPTなどクローズドモデルには対応していませんが、Hugging Faceで公開されているGGUF形式のモデルを広くサポートしています。