機械アンラーニング（Machine Unlearning）

機械アンラーニング（Machine Unlearning）とは、学習済みの機械学習モデルから、特定の学習データの影響を選択的に除去する技術です。GDPRの「忘れられる権利（Right to Erasure）」に代表されるデータ削除要求への対応、著作権侵害データの除去、有害コンテンツや誤情報を学習したモデルの修正など、AIの法的コンプライアンスと安全性を確保するための重要な技術として注目されています。

なぜ必要かとして、LLMを含む機械学習モデルは膨大なデータで学習されており、特定のデータを削除するために全データで再学習するのは計算コストが膨大です。例えば、GPT-4級のモデルの再学習には数千万ドルのコストがかかるため、再学習なしで特定データの影響を除去する「アンラーニング」技術が必要とされています。

主要なアプローチとして、(1)完全再学習（Exact Unlearning）：対象データを除外して最初から再学習。確実だがコストが極めて高い、(2)近似的アンラーニング（Approximate Unlearning）：対象データの影響を推定し、モデルパラメータを微調整して影響を近似的に除去。SISA（Sharded, Isolated, Sliced, and Aggregated Training）等の手法が研究されている、(3)勾配ベース手法：対象データに対する勾配の逆方向にパラメータを更新し、学習効果を「巻き戻す」アプローチ、(4)知識編集（Knowledge Editing）：モデルの特定の知識を直接書き換える手法。ROME・MEMIT等が研究されています。

LLMにおける課題として、(1)検証の困難さ：アンラーニングが本当に完了したかを検証する標準的な方法が確立されていない、(2)連鎖的影響：特定の知識を除去すると、関連する他の知識にも予期しない影響が生じる可能性、(3)スケール：数兆トークンで学習されたLLMにおける効率的なアンラーニング手法はまだ発展途上、(4)再学習リスク：アンラーニング後も、プロンプトの工夫で除去したはずの情報を引き出せてしまう可能性があります。Googleが2023年にKaggleでMachine Unlearningコンペティションを開催するなど、研究コミュニティでも活発に取り組まれている分野です。