En los modelos de lenguaje de IA, ¿qué es un "token"?

Un token es la unidad básica que usa un modelo de IA para procesar texto, y no siempre equivale a una palabra completa: las palabras comunes pueden ser un solo token, mientras que las más largas se dividen en fragmentos más pequeños, e incluso la puntuación puede contar como su propio token. Como los modelos leen y generan texto token a token, tanto su límite de contexto como su costo de uso se miden en cantidad de tokens y no en letras ni palabras completas.

Una llave de seguridad digital y una criptomoneda también usan la palabra "token", pero describen conceptos completamente distintos de campos no relacionados, concretamente la autenticación y la moneda digital.

Como distintos idiomas o formas de expresar la misma idea usan diferentes cantidades de tokens, la misma frase traducida o escrita de forma más extensa puede acabar costando notablemente más de procesar.