AIレッドチーミングは何を試すのか——AISI手法ガイドの読み方

AIレッドチーミングは、モデルをいじめる遊びではない。AIシステムに施したリスク対策が、攻撃者の視点でどこまで効くかを確認する手法である。

AISIは2024年9月に「AIセーフティに関するレッドチーミング手法ガイド」を公開し、2025年3月に第1.10版へ改訂した。改訂版では、RAGの仕組みを実装したAIシステムに対する実施例も示されている。

レッドチーミングは手順を残す

重要なのは、失敗を見つけることだけではない。どの前提で試験し、どの結果を得て、どの対策へ戻したのかを説明できることだ。AIの評価は一度きりではなく、モデル、データ、プロンプト、連携先、利用者の変化に応じて繰り返す必要がある。

RAGでは検索先も攻撃面になる

RAGを使うAIシステムでは、モデル本体だけでなく、検索対象の文書、検索結果の選び方、プロンプトへの差し込み方、回答の根拠表示が攻撃面になる。外部文書に悪意ある指示が混ざれば、通常のプロンプトインジェクションとは別の経路で挙動が崩れる。

だから、AIレッドチーミングは「危ない質問を投げてみる」だけでは足りない。業務フロー、データ経路、権限、ログ、承認、停止手段まで含めて、AIシステムとして試す必要がある。

この記事の限界

• この記事はAISI「AIセーフティに関するレッドチーミング手法ガイド」公開ページと内閣府のガイドライン一覧をもとに、位置づけを整理したもの
• 実際の手順、テンプレート、別添資料の詳細はAISI本文で確認する必要がある
• レッドチーミングの結果は公開可能な範囲と秘匿すべき弱点を分けて扱う必要がある