Trong các mô hình ngôn ngữ AI, "token" là gì?

Token là đơn vị cơ bản mà một mô hình AI dùng để xử lý văn bản, và nó không phải lúc nào cũng là cả một từ — các từ thông dụng có thể là một token duy nhất, trong khi các từ dài hơn bị chia thành các mảnh nhỏ hơn, và ngay cả dấu câu cũng có thể được tính là một token riêng. Vì các mô hình đọc và tạo ra văn bản theo từng token, cả giới hạn ngữ cảnh lẫn chi phí sử dụng của chúng đều được đo bằng số lượng token chứ không phải số chữ cái hay số từ hoàn chỉnh.

Một khóa bảo mật số và tiền mã hóa cũng đều dùng từ "token", nhưng mô tả những khái niệm hoàn toàn khác từ các lĩnh vực không liên quan, cụ thể là xác thực và tiền tệ số.

Vì các ngôn ngữ khác nhau hoặc các cách diễn đạt khác nhau của cùng một ý dùng số lượng token khác nhau, cùng một câu khi được dịch hoặc viết dài dòng hơn có thể tốn chi phí xử lý cao hơn đáng kể.