AI red teaming

何であるか

AI red teaming とは、AI 対応システムを敵対的に試すことです。攻撃者のように意図的に操作し、何をさせられるかを見ます。肝心な語はシステムです。標的は言語モデルだけではなく、その周囲すべて——取得層、プロンプトの連鎖、呼び出せるツール、保持する記憶、そして行動に用いる権限です。

これは、モデルが危険なテキストを生むかを問うモデル安全性評価とは別の営みです。AI red teaming はより鋭く問います。この実環境で、これらの統合とこれらの権限のもと、システムは操作によって実際に何をするようにさせられるのか。

従来の AppSec が及ばない理由

従来のアプリケーションセキュリティは、比較的予測可能な境界を前提にします。入力が来て、コードが処理し、出力が出る。複雑なソフトでも、コードレビュー・スキャン・手動テスト・ポリシー適用といった馴染みの手段で推論できる程度には有界でした。

AI 対応アプリはこの前提を崩します。ふるまいが今やツール・取得・記憶・委譲権限に依存するからです。

• チャットボットは知識ベースから情報を引くことがあります。
• コパイロットは複数の内部システムからデータを統合することがあります。
• LLM アプリは指示を解釈し、API を呼び、下流のワークフローを起動することがあります。
• エージェントは記憶を保ち、委譲されたアクセスで行動しながら、以上すべてを行うことがあります。

LLM・エージェント型アプリ向けの OWASP リストのような枠組みがそもそも存在する理由がこれです。これらのシステムは、ツールの誤用、ID と権限の濫用、記憶の汚染といった、より古い AppSec の発想では捉えきれないリスクを抱えます。

モデルだけではない

セキュリティ責任者が最も腹落ちさせるべき考え方。攻撃者はたいていモデルを打ち負かす必要がありません。明白に誤作動させる必要すらしばしばありません。周囲のシステムを悪用すれば足ります——取得層、プロンプトの連鎖、実行経路、権限モデル、記憶、あるいは出力を行動へ変えるアプリケーションロジック。

AI システムが攻撃面の一部になりつつあるのは、まさにデータ・信頼・自動化・行動の交点に座るからです。スキャナはコードのバグを見つけるかもしれません。モデルのレッドチームは危険な出力を捕らえるかもしれません。どちらも、稼働環境で攻撃者が端から端まで何をできるかは告げません——その隙間に本当の露出が住みます。

悪い出力から悪い結果へ

AI リスクを「プロンプトインジェクション」に縮めるのは一部しか捉えません。企業では、操作された文脈が操作されたふるまいを招き、それがデータ露出、壊れた認可、危険なツール使用、ワークフロー濫用へと至ります。問題は悪い出力でなくなり、悪い結果になります。

これらは本番 AI システムに見られる、認識可能で反復する失敗パターンです。

• コパイロットへの直接プロンプトインジェクション。
• システムが読む埋め込み・第三者コンテンツ経由の間接インジェクション。
• システムプロンプトや機微な指示の漏えい。
• 共有 AI アプリの顧客間でのテナント横断データ露出。
• ツール実行連鎖による権限昇格。
• AI 生成の業務ロジックにおける壊れた認可、および AI 支援開発中に露出した内部 API。

どれもモデルが戯画的な意味で「ジェイルブレイク」される必要はありません。新しい表面をまとった、ありふれたセキュリティの失敗です。

テストが本当に要すること

意味ある AI red teaming は継続的で、実行経路の全体——入力処理、取得、記憶、ツール、権限、業務ロジック、下流ワークフロー——を覆います。弱点が単に興味深いだけか、実際に悪用可能かを言えるのはそれだけだからです。

つまり連鎖全体を辿ります。プロンプト操作はふるまいを変えられるか。変わったふるまいはツールを起動できるか。そのツール使用は境界を越えるか。結果は本当の事業リスクを生むか。これは悪用可能性のテストであり、静的解析でもモデル評価スコアでもありません。そしてプロンプト・モデル・統合・ワークフローは毎日変わるので、一度きりの評価はほぼ即座に陳腐化します——テストは歩調を合わせねばなりません。

問う価値のある問い

ゆえにセキュリティ責任者にとって有用な問いは、AI システムが抽象的に「安全」かどうかではありません。運用的で、攻撃者が最初に試すのと同じ組です。

• チャットボットは制限情報を明かすよう操作されうるか。
• コパイロットはテナント境界を越えられるか。
• エージェントは組織が意図しなかった行動へ押し込まれうるか。

誠実な捉え方は控えめです。AI は生きた運用層であり、一部はソフト、一部は意思決定エンジン、一部は操作者です。最も強い立場に立つのは、採用を遅らせる者でも「ただの一機能」と扱う者でもありません。その層を十分に見通し、何をさせられるかを知り、変化に合わせて継続的に点検するチームです。

CyberStrike は AI 拡張のペネトレーションテスト・プラットフォームで、現在アーリーアクセス中です。プラットフォームの AI red teaming を見るか、ウェイトリストに参加してください。