Yapay zekâ dil modellerinde "token" nedir?

Bir token, bir yapay zeka modelinin metni işlemek için kullandığı temel birimdir ve her zaman tam bir kelime değildir — yaygın kelimeler tek bir token olabilirken daha uzun kelimeler daha küçük parçalara bölünür, hatta noktalama işaretleri bile kendi başlarına bir token sayılabilir. Modeller metni token token okuyup ürettiği için, hem bağlam sınırları hem de kullanım maliyeti harf ya da tam kelime sayısı yerine token sayısıyla ölçülür.

Dijital bir güvenlik anahtarı ve kripto para birimi de "token" kelimesini kullanır, ama tamamen ilgisiz alanlardan tamamen farklı kavramları tanımlarlar — sırasıyla kimlik doğrulama ve dijital para.

Aynı fikrin farklı diller ya da ifade biçimleri farklı sayıda token kullandığı için, aynı cümlenin çevirisi ya da daha ayrıntılı yazılmış hâli işlenirken belirgin şekilde daha maliyetli olabilir.