モンテカルロ木探索（MCTS）

モンテカルロ木探索（Monte Carlo Tree Search：MCTS）とは、ゲーム木やプランニング空間において、ランダムなシミュレーション（モンテカルロ法）を繰り返し実行することで最良の行動選択を見つけるアルゴリズムです。選択・拡張・シミュレーション・バックプロパゲーションの4フェーズを繰り返します。

歴史的な転機となったのは2016年のAlphaGoです。囲碁は分岐数が膨大すぎて従来の探索木では対処できませんでしたが、MCTSとニューラルネットワーク（方策ネットワーク・価値ネットワーク）の組み合わせにより、人間のトップ棋士を初めて破りました。

近年はLLMの推論能力向上にMCTSが応用されています。Tree of Thoughtのような手法では、LLMが生成する複数の推論ステップ候補をMCTSで探索・評価することで、複雑な数学・プログラミング問題を解く能力を高めます。また強化学習からのフィードバックとプロセス報酬モデル（PRM）を組み合わせたMCTSによる推論時計算の増大（Test-Time Compute）も活発に研究されています。