AIセキュリティは何を守るのか——モデルを止める攻撃まで考える

AIのセキュリティは、IDとパスワードだけの話ではない。AIに不正な出力をさせる、AI搭載システムを停止させる、データやモデルを汚染する、といったAI特有の攻撃がある。

内閣府のAI指針ページには、総務省の「AIのセキュリティ確保のための技術的対策に係るガイドライン」が掲載されている。概要では、AIへの脅威に対して、AIのセキュリティを確保するための技術的対策をAI開発者・提供者向けにまとめたものと説明されている。

AIセキュリティで見る攻撃面

LLMアプリでは、OWASP Top 10でもプロンプトインジェクションや過剰な権限が重要リスクとして扱われている。AIセキュリティは、従来のサイバーセキュリティにAI固有の失敗モードを足して考える必要がある。

AIをつなげるほど危険も増える

チャットだけなら、誤回答は人間が読む段階で止められる。しかしAIがメール、ファイル、決済、申請、コード実行、顧客対応に接続されると、誤回答ではなく誤操作になる。

AI導入の本番化では、モデル精度より先に、権限、ログ、人間承認、隔離、停止手段を設計するべきだ。

この記事の限界

• この記事は内閣府一覧に掲載された概要をもとに、AIセキュリティの論点を整理したもの
• 技術的対策の詳細は、総務省ガイドライン本文と個別システムの脅威分析で確認する必要がある