メタ学習

メタ学習（Meta-Learning）とは、AIモデルが「どのように学習すべきか」自体を学習するアプローチです。通常の機械学習が大量のデータで特定タスクを学習するのに対し、メタ学習では多様なタスクを経験することで、新しいタスクに少数サンプルだけで素早く適応できる「汎用的な学習能力」を獲得します。

主要なアルゴリズムを紹介します。MAML（Model-Agnostic Meta-Learning、2017年）は、「少数の勾配ステップで新タスクに適応できる初期パラメータ」を学習する手法で、あらゆるモデルアーキテクチャに適用可能です。ProtoNets（Prototypical Networks）はサポートサンプルからクラスのプロトタイプ表現を学習します。MAML++、Reptileなど多くの発展形が存在します。

three種類のメタ学習アプローチがあります。最適化ベース（MAML等）はモデルパラメータを効果的な初期値に導く方法、メトリックベース（Siamese Nets等）は類似度空間を学習する方法、モデルベース（外部メモリを持つモデル）は少数例をメモリから参照する方法です。

LLMとの関係として、LLMのIn-context learning（コンテキスト内学習）はメタ学習の一形態として理論的に解釈できます。大量の多様なデータで事前学習したLLMは、コンテキストで与えられた少数例からパターンを素早く掴む「暗黙的メタ学習」を行っていると考えられています。