固有表現認識（NER）

固有表現認識（Named Entity Recognition、NER）とは、テキスト中に含まれる固有名詞や特定の意味を持つ表現（エンティティ）を自動的に識別し、そのカテゴリ（人名・地名・組織名・日付・金額・製品名等）に分類するNLPタスクです。「山田太郎（人名）が東京（地名）のABC株式会社（組織名）に入社した」のような解析を行います。

NERが重要な理由は、テキストから構造化された情報を抽出するパイプラインの基礎であるためです。ニュース記事・法律文書・医療記録・特許文書などの大量テキストから、誰・どこ・いつ・いくらといった情報を自動抽出することで、knowledge-graphの構築、information-retrievalの精度向上、ビジネスインテリジェンスなどが実現します。

技術的には、BERTなどのEncoder型モデルをNERタスクでfine-tuningする手法が精度面で優れています。また現在のLLMはプロンプトを工夫することで高精度なNERが可能で、専用のfine-tuningなしにzero-shot・few-shotでも機能します。日本語のNERは分かち書き（単語分割）が不要な形態でも処理できますが、敬称の扱いや文脈依存の曖昧性が課題です。CoNLL-2003（英語）・KWDLC（日本語）などがベンチマークデータセットとして使われます。