安全なAIシステム開発はどこから始めるか——NCSC共同ガイドの4段階

AIセキュリティは、モデルを選ぶ段階だけで決まらない。プロンプト、データ、API、ログ、権限、監視、更新まで含めて、AIシステムとして守る必要がある。

英国NCSCは2023年11月、「Guidelines for secure AI system development」を公開した。対象は、AIシステムを一から作る事業者だけではない。外部のモデル、API、ツール、サービスの上にAIシステムを作る提供者も含まれる。

4段階で見る

この整理の重要点は、AIを「開発して終わり」にしないことだ。運用に入ったあとも、入力は変わる。利用者も変わる。モデル、データ、プロンプトの更新で、同じシステムでも挙動が変わる。

AIの導入判断では、「どのモデルが賢いか」より前に、「このシステムは、どの段階で誰が何を確認するのか」を決める必要がある。

Secure by DesignはAIにも当てる

NCSCのガイドは、CISA、NCSCなどのsecure by design principlesと整合するものとして説明されている。AIだから特別扱いするのではなく、ソフトウェアとしての基本をAIの失敗モードに合わせて拡張する、という読み方が近い。

たとえば、LLMのプロンプトインジェクションは、単に「悪い入力に注意する」話ではない。外部API、検索、ファイル、権限、ログ、承認フローに接続された時点で、通常のアプリケーションセキュリティとAI固有リスクが混ざる。

この記事の限界

• この記事はNCSC「Guidelines for secure AI system development」の構成をもとに、AIシステム開発の見方を整理したもの
• CISA公式ページは閲覧環境によって直アクセスできない場合があるため、本文ではNCSC公開ページで確認できる共同ガイドの内容に限定している
• 個別システムの対策は、業務、権限、扱うデータ、外部連携先に応じた脅威分析が必要である