Mixture of Agents（MoA）

Mixture of Agents（MoA）とは、複数の異なるLLM（またはLLMの複数インスタンス）を並列に実行し、各モデルの出力を集約・統合して最終的な回答を生成するアーキテクチャです。Together AIのWangらが2024年に提案し、単一モデルより高精度な回答を実現できることを示した論文で注目されました。アーキテクチャ的にはMixture of Experts（MoE）の「アンサンブル」の考え方をエージェントレベルに適用したものです。

技術的な仕組みとして、MoAは多層構造で動作します。(1)第1層（提案者層）：複数の異なるLLM（例：GPT-4o・Claude 3.5・Llama 3 70B等）が同じ質問に対して独立した回答を並列生成、(2)中間層（集約者層）：各モデルの回答を受け取り、複数の回答の長所を統合した改善回答を生成。このステップを複数回繰り返すことで徐々に精度を向上、(3)最終層（アグリゲーター）：最終的に1つの高品質な回答に統合します。

効果として、Together AIの論文では複数のAlphaCode2・GPT-4o・Qwenを組み合わせたMoAシステムが、AlphaCode2単体よりも高い精度をAlpacaEval2ベンチマークで達成したことが示されています。LLMのアンサンブル効果により、単一モデルの誤り・偏り・ハルシネーションを他のモデルが補完します。

実装上の考慮として、MoAは並列実行のレイテンシ増加とAPIコスト増加というトレードオフがあります。Together AI・OpenRouter等のマルチモデルAPIを活用することで実装が容易になります。CrewAI・AutoGen等のマルチエージェントフレームワークを使って各モデルを「専門家エージェント」として定義し、協調させる形での実装が一般的です。