AIガードレール
(えーあいがーどれーる/AI Guardrails)
- 起点・背景(海外)
- 2023年
- 更新
- 2026-10-30
一言でいうと
AIへの入力や出力の検査、AIが呼び出すツールの範囲と権限の制限などを組み合わせて、AIの動作をあらかじめ定めた範囲に収める技術的な対策です。
開発元と登場年
特定の製品名ではなく、LLMアプリケーションの安全対策を指す呼び名です。2023年4月にNVIDIAは、LLMを使った対話アプリケーションにガードレールを追加するオープンソースのツールキットNeMo Guardrailsを公開しました。NVIDIAはガードレールを、話題を用途の範囲に留めるもの、応答の正確さと適切さを保つもの、接続先を安全とみなした外部サービスに限るものの3種類に分けて説明しています。
同年10月に公開されたこのツールキットの論文(EMNLP 2023のデモ部門に採択)は、学習時にモデルへ組み込む安全対策と異なり、モデルから独立した実行時の仕組みで検査を加える方式を示しています。
何を解決するために生まれたか
ガードレールは、AIへの入力、出力、実行する操作をモデルの外側で確かめ、用途外のものや危険なものを止めます。例えば、回答に個人情報が含まれていれば送信前に止めます。OpenAI Agents SDKは、利用者の入力、エージェントの最終出力、ツール呼び出しの前後を検査する機能をガードレールの名前で提供し、条件に合わなければ処理を止めます。
ただし、入力の検査は既定ではエージェントの実行と並行して動きます。そのため、検査の結果で処理が止まる前に、エージェントがツールを実行していることがあります。実行の前に必ず止めたい場合は、検査が終わってからエージェントを動かす方式を選びます。
AIエージェントにファイルの削除や外部への送信を任せる場合は、操作そのものの制限も必要です。ソフトウェアのセキュリティ指針を公開する団体OWASPは、使わせるツールと権限を最小にする、影響の大きい操作の前に人の承認を挟む、操作の可否をLLMに判断させず操作される側のシステムで判定する、といった対策を示しています。
どこで使われているか
顧客対応のチャットボットでは、天気のように用途と関係のない質問に答えないようにする検査として使われます。AIエージェントでは、条件に合わないツールの呼び出しを止める用途で使われます。
人材市場の実情
ガードレールは職種名ではなく、LLMアプリケーションやAIエージェントの開発で組み込む対策を指します。OWASPは、LLMへの入力と出力の扱いでも、ASVS(Webアプリの検証項目を定めた基準)のような既存のセキュアな開発の指針に従うよう求めています。この領域の経験は、Webアプリケーションでの入力値の検証や権限管理の経験と合わせて確認します。
混同されやすい技術との違い
| 用語 | 指すもの | AIガードレールとの違い |
|---|---|---|
| AIガバナンス | AIの利用に関する組織の方針・体制・規程 | ガバナンスで定めた方針の一部を、ガードレールがシステムの検査と制限として実装する |
| LLMOps | LLMアプリケーションの評価・監視・更新を継続する運用 | ガードレールは運用中に動く検査の一つ。LLMOpsはその精度の監視や更新も含む |
| プロンプトエンジニアリング | モデルへの指示で出力を調整する作業 | ガードレールは、指示文の調整だけに頼らず、入力・出力・ツール実行の検査と停止の処理を組み合わせる |
| ハーネス | モデルにツール呼び出しや確認手順を組み合わせて動かす実行の仕組み | ガードレールは、ハーネスの内外に組み込む検査と制限の機能を指す |
採用担当の見極めポイント
- 入力の検査、出力の検査、ツール実行の制限のうち、どれを実装したかを聞いてください。実装した内容を説明できる段階では、実装に関与したと考えられます。続けて「判定の基準と、検査を実行の前に置くか並行させるかを誰が決めたか」を聞き、本人が決めていれば、設計に関わったと判断する材料になります
- 検査の誤判定をどう扱ったかを聞いてください。正常な入力の拒否や危険な出力の見逃しを評価用のデータで検証した経験があれば、検査の評価に関与したと考えられます。本番で誤判定を監視し、判定の基準を更新してきたかを続けて聞くと、運用まで担ってきたかを判断できます
- AIエージェントの開発経験がある候補者には、ファイルの削除や外部への送信といった影響の大きい操作で、権限を絞ったか、人の承認を必須にしたかを確認してください。検査の基準を誰が承認し、操作の記録を誰が確認していたかも聞くと、統制まで関わったかを判断する材料になります