トークンマネジメント

(とーくんまねじめんと/Token Management)

起点・背景(海外)
2025年
更新
2026-10-30

一言でいうと

モデルに渡す情報の量と中身を設計し、費用と出力の精度の釣り合いを取る取り組みです。

求人票では、モデルに渡す情報量や文脈の選定を担当することを記載し、費用と出力精度の釣り合いを取る役割を明示します。

開発元と登場年

トークンマネジメントは特定の提唱者を持つ語ではなく、生成AIの開発現場で使われている呼び方です。2025年は語の登場年ではなく、近い考え方を体系的に述べた文書の年です。

その文書は、Anthropicが2025年9月に公開した記事「Effective context engineering for AI agents」です。推論のたびにモデルへ渡す情報を選び、整え続ける取り組みをcontext engineeringと呼び、望む結果を得られる最小限の情報に絞ることを原則に掲げています。

2つの語が指す取り組みは大きく重なり、どちらもモデルに何をどれだけ渡すかを決定します。このページでは、その取り組みを費用と精度の釣り合いの面から説明します。

何を解決するために生まれたか

コンテキストウィンドウが広がり、長い文書をそのまま渡せるようになった結果、入るものは全部渡すという設計が増えました。しかし、渡す量が増えるほど推論コストと応答時間は増えます。前述の記事は、文脈に含まれるトークンが増えるほど、モデルがその中から情報を正確に思い出す能力が下がると説明しています。

トークンマネジメントは、この費用と精度の2つの問題に同時に対処します。何を渡し、何を落とすかを決めることで、費用を抑えながら、必要な情報を落とさずに、渡す量を削減します。

どこで使われているか

長い対話や複数の手順をこなすAIエージェントの開発で、とくに必要になります。代表的な手段は次のとおりです。

  • 会話が長くなったら要約し、新しい文脈で作業を続ける
  • 作業の途中経過をモデルの外にメモとして残し、必要なときだけ読み込む
  • 作業を複数のエージェントに分け、それぞれに必要な情報だけを渡す
  • 毎回同じ指示文や文書を渡す場合は、プロンプトキャッシュで再処理の費用を下げる

人材市場の実情

この語を職務経歴書に書く候補者は多くありません。経歴では「コンテキストエンジニアリング」「RAGの検索精度の改善」「プロンプトキャッシュの導入」「エージェントの設計」といった具体的な作業として現れます。

経験の深さは段階で見ます。渡す情報の構成を設計した経験、削った後の精度を評価した経験、本番で費用と応答時間を監視しながら調整した経験は、それぞれ別の経験です。語が新しいため、どの段階の経験も、この語ではなく具体的な作業として書かれます。

混同されやすい技術との違い

用語指すものトークンマネジメントとの違い
コンテキストウィンドウモデルが一度に扱えるトークン数の上限上限そのもの。トークンマネジメントは上限の内側で何を渡すかを決める
プロンプトエンジニアリング指示文の書き方を工夫する取り組み指示の書き方が対象。トークンマネジメントは渡す情報全体の量と構成が対象
RAG外部の文書を検索して必要な部分を渡す手法情報を絞り込む手段のひとつ
推論コスト処理のたびに発生する費用管理の結果として抑えられる対象

採用担当の見極めポイント

  • 長い文書や長い会話を扱った経験があるかを聞き、上限に達したときにどう対処したかを確認してください。要約、分割、検索のどれを選んだかと、その理由に設計の判断が表れます。例:「会話が上限に近づいたとき、何を残し何を落としましたか」
  • 渡す情報を減らしたときに、出力の精度が保たれたことをどう確かめたかを聞いてください。評価の仕組みを持たずに削っている場合、品質の劣化に気づけません。例:「削る前と後で、何を使って精度を比べましたか」
  • 求人票の要件は、この語ではなく「長い文書や会話を扱う機能の設計経験」のように、職務経歴書に現れる言い方で書いてください。扱う文書の種類と量も添えると、候補者が自分の経験と照らし合わせやすくなります

出典