LLMの出力をそのまま信じてはいけない——Improper Output Handlingの実務
LLMアプリの危険は、モデルが間違うことだけではない。もっと危ないのは、LLMの出力を下流システムがそのまま実行してしまうことだ。
OWASP Top 10 for LLM Applications 2025では、Improper Output Handlingが主要リスクとして挙げられている。LLM出力の検証、無害化、エンコードを怠ると、コード実行、データ漏えい、システム侵害につながる。
AIの出力は「ユーザー入力」と同じくらい危険に扱う
| 出力先 | リスク |
|---|---|
| HTML表示 | スクリプト混入や表示偽装 |
| SQL/検索クエリ | 意図しない検索・更新・抽出 |
| シェル/コード実行 | 命令実行やファイル破壊 |
| 業務API | 誤送信、誤発注、権限外処理 |
従来のWeb開発では、ユーザー入力を信用しないことが基本だった。LLM時代には、モデル出力も信用しない対象になる。LLMは外部入力、プロンプト、検索結果、ツール実行結果の影響を受けるため、出力は「AIが作ったから安全」ではない。
教育AIでも同じ問題が起きる
教材生成、採点補助、保護者向け連絡文、学習ログ分析でも、LLM出力が別システムに渡る瞬間がある。誤った採点理由が成績に反映される、個人情報を含む文面が外部送信される、HTML教材に危険なコードが混ざる、といった問題は設計で防ぐ必要がある。
実務では、LLM出力を表示用、保存用、実行用に分け、実行用には人間承認とスキーマ検証を入れるべきだ。AIの文章力ではなく、境界の設計が安全性を決める。
この記事の限界
- この記事はOWASP Top 10 for LLM Applications 2025の項目をもとに、出力処理の考え方を整理したもの
- 個別システムの対策は、利用言語、フレームワーク、API権限、保存先ごとに設計する必要がある
出典（2026年7月7日閲覧）: OWASP Gen AI Security Project「LLM Top 10」（genai.owasp.org）
LLMアプリの危険は何から始まるか——OWASP Top 10を見る
OWASP Top 10 for Large Language Model Applicationsから、生成AIアプリ特有のセキュリティリスクを確認する。
REPORTAIコストはセキュリティ問題になる——Unbounded Consumptionを読む
OWASPのUnbounded Consumptionから、LLMアプリでコスト暴走とサービス停止を防ぐ設計を整理する。
REPORTRAGの弱点は検索にもある——ベクトルDBとEmbeddingリスク
OWASP Top 10 for LLM Applications 2025のVector and Embedding Weaknessesから、RAG構成の注意点を整理する。