生成AIの評価（LLM評価）入門｜“任せていい品質”を測る指標と運用【2026年版】
最終更新日: 2026年2月19日
生成AIを導入した企業が次に詰まるのは、「使えるかどうか」ではなく「任せてよい品質か」を説明できない点です。現場では便利でも、決裁者・法務・情シスが 了承できる評価設計がなければ本番運用には進めません。
本記事では、LLM評価を品質・安全性・運用性の3レイヤーで設計する方法、週次運用にそのまま使えるコピペ テンプレ、30日で評価運用を定着させる手順をまとめます。PoCで止まらず、現場で回る運用体制を作ることが目的です。
結論: LLM評価は「正答率」ではなく「業務リスク」で設計する
正答率が高くても、機密混入や誤送信が起きるなら本番では使えません。逆に、正答率が90%未満でも、承認と再実行導線があり事故を止められるなら運用は可能です。 まずは「何を防ぎ、何を任せるか」を決めてから指標を置くのが実務の順番です。
先に決めるべき3点（用途・失敗コスト・責任者）
- 用途: 要約、下書き、検索、分類など対象業務を固定する。
- 失敗コスト: 間違えたときの損失を定義する（信用、法務、金銭、工数）。
- 責任者: 評価の判定者と改善責任者を分けて明確化する。
評価設計の失敗例
- 精度だけを追い、ログ設計がないため事故時に原因追跡できない。
- 部署ごとに基準がバラバラで、承認可否が担当者依存になる。
- 評価はしたが改善サイクルがなく、2週間で形骸化する。
品質・安全性・運用性の3レイヤーで評価指標を設計する
LLM評価を実務で機能させるには、1つの総合点ではなく複数レイヤーで判定します。品質だけを見ると安全性が漏れ、安全性だけを見ると業務速度が落ちます。 3レイヤーを並べることで「どこを改善すれば前に進めるか」が分かります。
評価レイヤー早見表
| レイヤー | 目的 | 主要指標 | 目安しきい値 |
|---|---|---|---|
| 品質 | 回答が業務要件に合うか | 正確性、再現性、根拠提示率、フォーマット遵守率 | 正確性90%以上、根拠提示率95%以上 |
| 安全性 | 事故や規約違反を防げるか | 機密情報混入率、禁止操作ブロック率、著作権リスク検知率 | 機密混入0件、危険操作ブロック率100% |
| 運用性 | 現場で回し続けられるか | 平均処理時間、承認介入率、再実行率、1件あたりコスト | 再実行率10%未満、コストは基準値以内 |
品質評価: 正確性と再現性を分けて測る
品質評価で多い失敗は「正しい回答が1回出た」で終わることです。実務では同じ入力で結果が揺れるとオペレーションが崩れます。正確性に加えて、 再現性と根拠提示率を必ず併記してください。評価セットは生成AI PoCの進め方で使う実データを再利用すると効率的です。
安全性評価: 事故を止める設計があるかを確認する
安全性は「ルールがあるか」ではなく「違反を止められるか」で評価します。機密情報の入力防止、著作権リスクの検知、禁止操作のブロックは必須です。 社内ルールの土台が未整備なら生成AIの社内ガイドライン雛形を先に整えると評価基準が安定します。
運用性評価: 現場が回るかを数字で確認する
正解でも遅い、安くても承認介入が多すぎる、という状態は現場で継続できません。運用性では処理時間、再実行率、承認介入率、コストを週次で見ます。 ここを見ないと「PoCでは成功したのに本番で使われない」状態になります。
【コピペ可】LLM評価スコアカード（週次運用テンプレ）
下記テンプレは、週次レビューで最低限必要な項目だけに絞っています。最初はすべて埋めるより、毎週欠かさず更新することを優先してください。
# LLM評価スコアカード（週次）
## 1. 評価対象
- 対象業務:
- 対象モデル:
- 対象期間:
- 評価責任者:
## 2. 指標（品質）
- 正確性（%）:
- 根拠提示率（%）:
- フォーマット遵守率（%）:
- 再現性（同一入力の一致率）:
## 3. 指標（安全性）
- 機密情報混入件数:
- 禁止操作ブロック率:
- 著作権/ライセンス要確認件数:
- バイアス・不適切表現検知件数:
## 4. 指標（運用性）
- 平均処理時間（秒）:
- 承認介入率（%）:
- 再実行率（%）:
- 1件あたりコスト（円）:
## 5. 判定
- 判定: Go / Conditional Go / Hold
- 判定理由:
- 次週の改善項目（上位3件）:
## 6. インシデント・例外
- 発生日:
- 内容:
- 影響範囲:
- 初動対応:
- 再発防止策:
週次レビューのチェックリスト
- 高頻度タスク20件以上の評価セットを更新した
- 正確性・根拠提示率・危険出力ブロック率を記録した
- 承認が必要な出力に承認IDが紐づいている
- 失敗ケースを3件以上レビューし、原因分類した
- モデル/プロンプト/ツール変更の影響を比較した
- 1件あたりコストと処理時間を先週比で確認した
- 部門責任者と改善優先度を合意した
- 週次の運用ルール改定点を記録した
AIリブート通信｜週1本、仕事で使えるAI知識＋ニュース解説をLINEで届ける（無料）
30日で評価運用を立ち上げるロードマップ
評価は1回作って終わりではなく、改善ループを回して初めて意味があります。30日を3フェーズに分け、短いサイクルで定着させます。
0〜7日: 評価対象と基準値を固定する
- 高頻度かつ失敗コストが明確な業務を2〜3件選定する。
- 現状手作業の処理時間と品質を測り、比較の基準値にする。
- 評価責任者と判定会議（週1、30分）を固定する。
8〜14日: しきい値と承認フローを実装する
- 品質・安全性・運用性のしきい値を数値で定義する。
- 高リスク操作は承認ID必須にし、ログへ紐付ける。
- 情報漏えいの防止策は情報漏えいパターン10選を参照してチェックリスト化する。
15〜30日: 監視と改善を週次運用に落とす
- 週次で失敗ケースを3件選び、原因と改善を記録する。
- モデル変更時は同一評価セットでAB比較し、差分を可視化する。
- 改善後はGo/Conditional Go/Holdで明示判定し、関係部署へ共有する。
部門別の実務設計（営業・人事・CS）
同じモデルでも、部門が違えば評価軸は変わります。共通指標は維持しつつ、部門特有のリスクを追加して運用してください。
営業: 提案書下書きは品質、対外送信は安全性を重視
営業は「文章品質が高い」だけでは不十分です。顧客名、単価、契約条件が混入していないかを必ず評価し、対外送信前に承認を入れます。 実装前の導入全体像は中小企業の生成AI導入ガイドが参考になります。
人事: バイアスと説明責任を評価項目に含める
人事業務では、評価コメントや候補者判断の説明責任が重要です。判断根拠が残らない出力は採用しない運用にし、推奨理由の透明性を評価指標に入れてください。 機密情報の扱いは社内規程との整合を最優先にします。
CS: 応答速度と再実行率を同時に追う
CSでは速度改善だけ追うと誤回答が増えます。初回応答時間、一次解決率、再実行率を同時に見て、品質と効率のバランスを調整します。 FAQや定型回答の更新頻度をログ化すると、改善の再現性が高まります。
FAQ
評価設計で相談が多い質問を実務向けにまとめました。
- Q. LLM評価は何件サンプルを用意すればよいですか？
- A. 最初は高頻度業務を中心に20〜30件で十分です。重要なのは件数より、実務で起きる失敗パターンを含めることです。運用開始後に毎週追加して評価セットを育てます。
- Q. 正答率だけでは評価として不十分ですか？
- A. 不十分です。業務運用では正答率に加えて、機密情報の扱い、承認フロー遵守、再現性、処理時間、コストまで見ないと意思決定できません。
- Q. 幻覚はどう定義すると運用しやすいですか？
- A. 「根拠提示不可の断定」「参照データにない事実の生成」「数値や固有名詞の誤り」を明確に定義し、検知時の対応（差し戻し、要確認タグ付け）をルール化すると運用しやすくなります。
- Q. 承認フローはどこに入れるべきですか？
- A. 対外送信、削除、大量更新、契約・請求など影響が大きい操作に必ず入れます。下書き作成や要約など低リスク領域は自動化し、承認コストを抑えます。
- Q. 週次で最低限見るべき指標は何ですか？
- A. 正確性、根拠提示率、危険出力ブロック率、承認介入率、再実行率、1件あたりコストの6指標が最低ラインです。改善の優先順位が明確になります。
- Q. 小規模チームでも評価運用は回せますか？
- A. 可能です。最初は2〜3業務に絞り、評価指標を6項目に限定して毎週30分のレビューを回せば、十分に実務で機能します。
関連リンク
評価設計を「運用できる状態」まで進める
AIリブートアカデミーでは、実務で使える生成AI活用力を鍛えるだけでなく、自己理解・キャリアデザインを深め、仲間と共に学ぶ環境の中で導入判断と運用設計を 進められます。評価設計と運用ルールを現場で実装したい場合は、以下から次の一歩に進んでください。