生成AIのハルシネーションをどう扱うか——NISTがいうConfabulation
生成AIは、知らないことでも自然な文章で答えることがある。だから問題は「間違うかどうか」ではなく、間違いをどう検知し、どう止めるかに移る。
NIST AI 600-1は、生成AIのリスクの一つとしてConfabulationを挙げている。一般にはハルシネーションやファブリケーションとも呼ばれる、確信ありげだが誤った内容の生成である。
ハルシネーションは利用場面で重さが変わる
| 場面 | 影響 |
|---|---|
| 学習支援 | 誤った理解を定着させる |
| 医療・法務 | 判断ミスや損害につながる |
| 業務文書 | 存在しない根拠や規程を混ぜる |
| 検索回答 | 出典があるように見せて誤誘導する |
ハルシネーション対策は、モデルに「正しく答えて」と頼むことではない。根拠文書の提示、回答範囲の限定、出典リンク、スキーマ制約、人間確認、誤答ログの回収を組み合わせる必要がある。
教育AIでは「分からない」と言える設計が必要
学習者にとって一番危険なのは、自信満々の誤答だ。AIが分からないときに分からないと言えること、根拠がないときに回答しないこと、教材範囲外なら範囲外と返すことが重要になる。
生成AIの品質は、正答率だけでなく、誤答時の振る舞いで評価すべきだ。
この記事の限界
- この記事はNIST AI 600-1のConfabulationリスクをもとに、実務上の扱いを整理したもの
- 具体的な評価指標やベンチマークは、対象業務と回答形式ごとに設計する必要がある
出典（2026年7月7日閲覧）: NIST「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile」（doi.org）
Related
REPORT
人はAIを信じすぎる——NISTのHuman-AI Configurationリスク
NIST AI 600-1のHuman-AI Configurationから、過信・擬人化・依存を防ぐUIと運用の論点を整理する。
REPORT生成AIの知的財産リスクはどこで起きるか——NISTのIPリスク整理
NIST AI 600-1のIntellectual Propertyリスクから、学習データ、出力、営業秘密の論点を整理する。
REPORT生成AIはサイバー攻撃面を広げる——NISTのInformation Securityリスク
NIST AI 600-1のInformation Securityリスクから、生成AIが攻撃と防御の両方に与える影響を整理する。