"GPT" ใน ChatGPT ย่อมาจากอะไร?

GPT ย่อมาจาก Generative Pre-trained Transformer โดย "generative" หมายถึงมันสร้างข้อความใหม่แทนที่จะแค่จำแนกข้อความที่มีอยู่ "pre-trained" หมายถึงมันเรียนรู้รูปแบบภาษาทั่วไปจากข้อมูลมหาศาลก่อน แล้วจึงปรับแต่งเพิ่มเติม และ "Transformer" หมายถึงสถาปัตยกรรมโครงข่ายประสาทเทียม ที่สร้างขึ้นรอบกลไกความสนใจ (attention) ซึ่งทำให้การสร้างแบบจำลองภาษาขนาดใหญ่เป็นไปได้จริง

"General Purpose Technology" และ "Global Personal Tool" เข้ากับตัวอักษร G, P, และ T ได้ แต่ไม่ได้สะท้อนความหมายที่แท้จริงเบื้องหลังตัวย่อนี้ ซึ่งชี้ไปที่ธรรมชาติเชิงสร้างสรรค์ วิธีการฝึกฝน และสถาปัตยกรรมของโมเดล

สถาปัตยกรรม Transformer ที่อยู่เบื้องหลัง GPT ถูกเปิดตัวเพียงไม่กี่ปีก่อนการเปิดตัวของ ChatGPT และตั้งแต่นั้นก็กลายเป็นรากฐานของโมเดลภาษาขนาดใหญ่ส่วนใหญ่ ไม่ใช่แค่ของ OpenAI เท่านั้น