AI・開発トレンド

トークン

（とーくん／Token）

一言でいうと

言語モデルが文章を扱うときの最小単位で、料金も処理量もこの単位で計算されます。

現在のモデルが使う分割方式の起点は2015年です。Sennrich らが、頻出する文字の並びをまとめて1つの単位にするサブワード分割を提案し、以降のモデルに引き継がれました。文字単位でも単語単位でもなく、その中間の粒度で文章を切る方式です。よく出てくる語はまとめて1つ、珍しい語は複数に分かれます。

2023年には、API の利用料がトークン単位で示されることが知られ、費用の見積もりに必要な概念として国内でも広まりました。

文章をそのまま扱うと、語彙の数が膨大になって処理が成立しません。かといって文字単位に切ると、1文あたりの単位数が増えすぎて効率が落ちます。

その中間を取ったのがこの分割方式です。学習していない語が来ても、既知の断片の組み合わせとして表現できるため、辞書にない固有名詞や新語も扱えます。

実務では2か所に出てきます。1つは料金で、入力と出力のトークン数に応じて費用が決まります。もう1つは制限で、1回のやり取りで扱えるトークン数に上限があります。

日本語は英語より多くのトークンを消費する傾向があり、同じ文字数でも費用と制限の消費が変わります。日本語での試算を英語の目安で代用しないでください。

トークン単体を求人の要件に書くことはありません。ただし、生成AIを扱う候補者を見極めるときに、費用と制限を意識した設計をしているかどうかの手がかりになります。

長い文書をそのまま毎回渡す実装と、必要な部分だけ渡す実装では、運用コストが桁で変わります。

用語	指すもの	トークンとの違い
文字数	文章の長さの一般的な単位	日本語では1文字が1トークンとは限らない。見積もりに直接使えない
コンテキストウィンドウ	一度に扱えるトークン数の上限	上限のほうを指す。トークンは数える単位
パラメータ数	モデル内部の重みの数	モデルの規模を表す。入出力の量とは関係しない