マルチタスク学習

マルチタスク学習（Multi-Task Learning, MTL）とは、複数の関連する学習タスクを単一のモデルで同時に学習する手法です。各タスク固有の情報を活用しながらタスク間で共有できる表現を獲得することで、個別に学習するよりも汎化性能・データ効率・計算効率が向上します。1997年にCaruanaが体系化しました。

アーキテクチャとして、(1)ハードパラメータ共有：下位層をすべてのタスクで共有し上位層にタスク固有のヘッドを設ける（最も一般的）、(2)ソフトパラメータ共有：各タスクが独立したモデルを持ち、損失関数の正則化でパラメータの類似性を促進、(3)Mixture of Experts（MoE）：タスクに応じて異なる専門家モジュールを活性化する形式があります。

自然言語処理での代表的な応用として、BERT系モデルは固有表現抽出・品詞タグ付け・感情分析・文章分類などを同時に学習するファインチューニングが広く行われています。画像認識では物体検出・セマンティックセグメンテーション・深度推定の同時学習が標準的です。

LLMにおいては大規模事前学習自体がマルチタスク的な性質を持ちます。InstructionTuning（SFT）では多様なタスクの指示データを同時に学習することでゼロショット汎化能力が向上し、現代のChat系モデルの性能の基盤となっています。