ナレッジ編集

ナレッジ編集（Knowledge Editing）とは、大規模言語モデルが内部に持つ特定の事実的知識を、モデル全体の再学習を行わずに標的を絞って修正・追加・削除する技術です。モデルが誤った知識を持っている場合や、世界が変化して情報が古くなった場合に、効率的な知識更新を可能にします。

代表的な手法： **ROME（Rank-One Model Editing）**：Meng et al.（2022）が提案した手法で、Transformerの特定の層（特にFFN層）が事実的知識を格納していることを発見し、その重みを直接編集することで特定の知識を書き換えます。例えば「エッフェル塔はパリにある」という知識を「ローマにある」に変更できます。 **MEMIT（Mass-Editing Memory In a Transformer）**：ROMEの後継手法で、一度に数千件の知識を効率的に編集できます。複数の層に分散して編集を適用することでスケーラビリティを実現します。 **GRACE**：コードブックを使って新しい知識を外部メモリとして追加するアプローチで、既存の重みを変更しません。

ナレッジ編集の課題： **リップル効果**：一つの知識を変更すると、関連する知識が整合性を失う可能性があります。 **汎化の難しさ**：編集した知識が適切に汎化されず、言い換えた質問に正しく答えられない場合があります。 **スケール問題**：大量の知識を同時に編集するとモデルの汎用性能が劣化することがあります。

RAGによる外部知識付与と比較すると、ナレッジ編集はモデルの内部表現を直接変更するため、推論コストが低いという利点があります。一方で安全性の保証が難しく、研究段階の技術です。