プロンプトインジェクション

(ぷろんぷといんじぇくしょん/Prompt Injection)

登場(海外)
2022年
更新
2026-10-30

一言でいうと

利用者の入力や、外部の文書・ツールの出力に含まれる指示によって、AIモデルが開発者の意図と違う動作をする脆弱性です。攻撃者が意図して指示を紛れ込ませる攻撃を指して使われることが多い語ですが、OWASPは意図しない入力で起きる場合も含めています。

面接では、入力の分離、権限の制限、検知のうち、どこを設計したかを確認します。

開発元と登場年

特定の製品名ではなく、入力によってAIモデルの動作が意図せず変わる脆弱性と、それを悪用する攻撃を指す呼び名です。2022年9月、Riley GoodsideがGPT-3への攻撃例をTwitterで公開し、Simon Willisonがブログ記事でこの手口を「prompt injection」と名付けました。

2023年2月、Kai Greshakeらは、アプリケーションが後から読み込むデータに攻撃者が指示を仕込む「間接プロンプトインジェクション」を論文で示しました。セキュリティの非営利団体OWASPは、生成AIアプリケーションの主要なリスクの一覧で、この攻撃を1番目(LLM01)に挙げています。

何を解決するために生まれたか

Willisonが示したGPT-3の例では、利用者の入力に含めた「上の指示を無視せよ」という文が命令として実行されました。SQLインジェクションは、パラメータ化クエリ(命令と値を別々に渡す方式)で防ぐことができます。Willisonは同じ分離を言語モデルで実現する方法を検討しましたが、2023年4月の追記で、現在の仕組みでは実装が極めて難しいと述べています。入力を区切り記号で囲んでも、モデルが従うとは限らず、強制的な境界にはなりません。

Greshakeらの論文は、読み込んだ内容によって、アプリケーションの機能や外部APIの呼び出し方まで操作されうることを示しました。

どこで使われているか

RAG、メールやWebページを読んで作業するAIエージェント、リポジトリを読んでコードを書くコーディングエージェントなど、外部の文章をモデルに渡すアプリケーションが対象です。OWASPは、利用者の入力が直接動作を変える直接型と、Webサイトやファイルなど外部の内容が動作を変える間接型に分けています。

OWASPは、確実な防止策があるかは明らかでないとしたうえで、影響を抑える対策として、役割と制限の明示、出力形式の検証、入力と出力のフィルタリング、最小権限、リスクの高い操作での人の承認、外部コンテンツの分離、攻撃を想定したテストを挙げています。RAGやファインチューニングでは十分に防げないという研究結果も紹介しています。

人材市場の実情

この対策を採用要件に含める場合は、LLMアプリケーションの開発経験に加えて、権限設計や脆弱性診断の経験を確認してください。OWASPが挙げる最小権限、人の承認、侵入テストは、従来のセキュリティ実務と共通する対策です。

混同されやすい技術との違い

用語指すものプロンプトインジェクションとの違い
ジェイルブレイクモデルに安全上の制限を無視させる入力OWASPはプロンプトインジェクションの一形態としている。プロンプトインジェクションは動作全般の操作を指す
ハルシネーションモデルが事実と異なる内容をもっともらしく出力することモデル単体の誤りとして起きる。プロンプトインジェクションは、入力に含まれる指示によって動作が変わる
SQLインジェクションデータベースへの問い合わせに不正な命令を紛れ込ませる攻撃パラメータ化クエリで命令とデータを分離できる。言語モデルでは同じ分離が難しい

採用担当の見極めポイント

  • 外部から読み込む文章と開発者の指示をどう分けたかを聞いてください。担当が実装か診断かを先に確認してください。読み込んだWebページやメールを信頼できない入力として区別した設計を説明できる場合は、この攻撃を前提に設計に関わったと考えられます
  • エージェントが使えるAPIの権限範囲と、外部への送信やファイルの削除の前に人の承認を挟んだ箇所を聞いてください。認証情報をモデルに渡さず、アプリケーション側で権限を絞った理由まで説明できる場合は、指示の混入を防ぎきれない前提で被害の範囲を考えてきたと判断する材料になります
  • 対策がシステムプロンプトへの注意書きだけで終わっていないかを確認してください。OWASPは指示による制限を対策の一つとしつつ、出力の検証や侵入テストも挙げています

出典