"GPT" trong ChatGPT là viết tắt của gì?

GPT là viết tắt của Generative Pre-trained Transformer: "generative" (tạo sinh) nghĩa là nó tạo ra văn bản mới chứ không chỉ phân loại văn bản có sẵn, "pre-trained" (được huấn luyện trước) nghĩa là nó học các quy luật ngôn ngữ tổng quát từ lượng dữ liệu khổng lồ trước khi được tinh chỉnh, và "Transformer" chỉ kiến trúc mạng nơ-ron, được xây dựng quanh một cơ chế attention (chú ý), giúp mô hình hóa ngôn ngữ quy mô lớn trở nên khả thi.

"General Purpose Technology" (công nghệ đa dụng) và "Global Personal Tool" (công cụ cá nhân toàn cầu) khớp với các chữ cái G, P và T, nhưng không phản ánh ý nghĩa thực sự đằng sau từ viết tắt này, vốn chỉ đến bản chất tạo sinh, phương pháp huấn luyện và kiến trúc của mô hình.

Kiến trúc Transformer làm nền tảng cho GPT được giới thiệu chỉ vài năm trước khi ChatGPT ra mắt, và từ đó đã trở thành nền tảng cho phần lớn các mô hình ngôn ngữ lớn hàng đầu, không chỉ của riêng OpenAI.