Nos modelos de linguagem de IA, o que é um "token"?

Um token é a unidade básica que um modelo de IA usa para processar texto, e nem sempre corresponde a uma palavra inteira — palavras comuns podem ser um único token, enquanto palavras mais longas são divididas em pedaços menores, e até a pontuação pode contar como seu próprio token. Como os modelos leem e geram texto token por token, tanto o limite de contexto quanto o custo de uso são medidos em quantidade de tokens, e não em letras ou palavras inteiras.

Uma chave de segurança digital e uma criptomoeda também usam a palavra "token", mas descrevem conceitos completamente diferentes, de áreas sem relação, respectivamente autenticação e moeda digital.

Como línguas diferentes ou formas diferentes de expressar a mesma ideia usam quantidades diferentes de tokens, a mesma frase, traduzida ou escrita de forma mais prolixa, pode acabar custando visivelmente mais para ser processada.