Dalam model bahasa AI, apa itu "token"?

Token adalah unit dasar yang digunakan model AI untuk memproses teks, dan tidak selalu berupa satu kata utuh — kata-kata umum bisa menjadi satu token tunggal, sementara kata yang lebih panjang dipecah menjadi bagian-bagian lebih kecil, dan bahkan tanda baca pun bisa dihitung sebagai token tersendiri. Karena model membaca dan menghasilkan teks token demi token, baik batas konteks maupun biaya penggunaannya diukur dalam jumlah token, bukan huruf atau kata utuh.

Kunci keamanan digital dan mata uang kripto juga sama-sama menggunakan kata "token", tetapi menggambarkan konsep yang sama sekali berbeda dari bidang yang tidak berkaitan, yaitu autentikasi dan mata uang digital.

Karena bahasa atau cara pengungkapan gagasan yang sama bisa menggunakan jumlah token yang berbeda-beda, kalimat yang sama yang diterjemahkan atau ditulis lebih bertele-tele bisa berakhir memakan biaya proses yang jauh lebih besar.