โมเดลแบบ 'Mixture of Experts' ทำเช่นนี้ได้อย่างไร?

โมเดล Mixture of Experts แบ่งโครงข่ายของมันออกเป็นโครงข่ายย่อยขนาดเล็กที่เชี่ยวชาญเฉพาะทางจำนวนมาก เรียกว่า "ผู้เชี่ยวชาญ" (experts) และใช้กลไกการจัดเส้นทางเพื่อตัดสินใจว่าผู้เชี่ยวชาญกลุ่มไหนควรประมวลผลข้อมูลแต่ละส่วน แทนที่จะเปิดใช้พารามิเตอร์ทั้งหมดในโมเดลทั้งหมดสำหรับทุกคำขอ มีเพียงกลุ่มย่อยที่เกี่ยวข้องของผู้เชี่ยวชาญเท่านั้นที่จะเปิดทำงานสำหรับพร็อมพ์แต่ละครั้ง ทำให้โมเดลโดยรวมสามารถมีจำนวนพารามิเตอร์ทั้งหมดมหาศาลในขณะที่ยังคงต้นทุนการตอบคำถามแต่ละครั้งต่ำกว่าการใช้พารามิเตอร์ทั้งหมดทุกครั้งมาก

การลบพารามิเตอร์ที่ไม่ได้ใช้อย่างถาวรจะทำลายความสามารถของโมเดลในการเรียกใช้มันสำหรับข้อมูลอื่น ๆ ในภายหลัง ขัดกับจุดประสงค์ของการมีผู้เชี่ยวชาญเฉพาะทางจำนวนมากพร้อมใช้งาน การรันพารามิเตอร์ทุกตัวสองครั้งเพียงแค่จะเพิ่มต้นทุนเป็นสองเท่าแทนที่จะลดลง ซึ่งตรงข้ามกับสิ่งที่การออกแบบนี้บรรลุผล

สถาปัตยกรรมนี้เป็นส่วนหนึ่งที่อธิบายว่าทำไมโมเดลที่มีความสามารถมากที่สุดในปัจจุบันจึงสามารถมีจำนวนพารามิเตอร์หลักแสนล้านตัวได้ แต่ก็ยังคงตอบคำถามในชีวิตประจำวันได้ด้วยความเร็วและต้นทุนที่เป็นไปไม่ได้เลยหากใช้พารามิเตอร์ทั้งหมดสำหรับทุกคำตอบ