AI言語モデルの「トークン」とは?

トークンとは、AIモデルがテキストを処理する際の基本単位であり、必ずしも単語一つに対応するわけではない。よく使われる単語は一つのトークンになることもあるが、長い単語はさらに小さな単位に分割されることがあり、句読点でさえ独自のトークンとして数えられることがある。モデルはテキストをトークン単位で読み書きするため、扱える文脈の上限も利用料金も、文字数や単語数ではなくトークン数で測られる。

デジタルのセキュリティキーや暗号資産も同じく「トークン」という言葉を使うが、それぞれ認証やデジタル通貨という、まったく別の分野のまったく別の概念を指している。

言語や言い回しが違えば、同じ内容を表すのに必要なトークン数も変わってくるため、同じ内容の文でも、翻訳したり、より冗長に書いたりすると、処理コストが目に見えて高くなることがある。