AI 언어모델에서 '토큰(token)'이란?

토큰은 AI 모델이 텍스트를 처리하는 기본 단위이며, 항상 하나의 온전한 단어를 뜻하지는 않습니다. 흔한 단어는 토큰 하나로 처리되기도 하지만, 긴 단어는 더 작은 조각으로 나뉘고, 문장부호조차 하나의 토큰으로 셀 수 있습니다. 모델이 텍스트를 토큰 단위로 읽고 생성하기 때문에, 문맥 제한과 사용 비용 역시 글자 수나 온전한 단어 수가 아니라 토큰 수로 측정되는 것이죠.

디지털 보안 키와 암호화폐도 '토큰'이라는 같은 단어를 쓰지만, 각각 인증과 디지털 화폐라는 완전히 다른 분야를 가리키는 전혀 별개의 개념입니다.

언어마다, 또는 같은 뜻을 표현하는 방식이 다르면 사용되는 토큰 수도 달라지기 때문에, 같은 문장이라도 번역되거나 더 장황하게 쓰이면 처리 비용이 눈에 띄게 늘어날 수 있습니다.