เทคนิคการฝึกแบบนี้เรียกว่าอะไร?

การกลั่นความรู้ (knowledge distillation) ฝึกฝนโมเดล "นักเรียน" ที่เล็กกว่าและมีประสิทธิภาพมากกว่าให้เลียนแบบผลลัพธ์และพฤติกรรมของโมเดล "ครู" ที่ใหญ่กว่าและมีความสามารถมากกว่า ถ่ายทอดทักษะที่เรียนรู้มาส่วนใหญ่ของครูให้กลายเป็นรูปแบบที่กะทัดรัดได้อย่างมีประสิทธิภาพ นักเรียนเรียนรู้จากคำตอบของครูผ่านตัวอย่างจำนวนมาก ซึมซับรูปแบบการให้เหตุผลและสไตล์ที่จะมีค่าใช้จ่ายสูงกว่ามากหากเรียนรู้เองตั้งแต่ต้น ทำให้บริษัทสามารถนำเครื่องมือที่รวดเร็วและราคาถูกไปใช้งานได้ในขณะที่ยังทำงานได้ดีอย่างน่าประทับใจแม้จะมีขนาดเล็กกว่า

การเข้ารหัสเป็นเทคนิคด้านความปลอดภัยที่ทำให้ข้อมูลอ่านไม่ออก เพื่อให้เฉพาะผู้ที่ได้รับอนุญาตเท่านั้นที่อ่านได้ ซึ่งเป็นแนวคิดที่แตกต่างโดยสิ้นเชิงจากการถ่ายทอดทักษะระหว่างโมเดล การโอเวอร์คล็อกหมายถึงการรันฮาร์ดแวร์ให้เร็วกว่าค่าตั้งต้นมาตรฐานเพื่อเพิ่มประสิทธิภาพ ซึ่งเป็นเทคนิคทางฮาร์ดแวร์ที่ไม่เกี่ยวข้องกับวิธีที่โมเดลถูกฝึกฝน

นี่คือเหตุผลสำคัญที่แชตบอท AI ที่รวดเร็วและราคาไม่แพงจำนวนมากในปัจจุบันยังคงทำงานได้ดีอย่างน่าประทับใจกับงานประจำวัน เนื่องจากพวกมันสืบทอดความรู้ที่ถูกกลั่นมาจากโมเดลที่ใหญ่กว่าและมีค่าใช้จ่ายสูงกว่ามากซึ่งจะไม่คุ้มค่าที่จะรันโดยตรงสำหรับทุกคำขอของผู้ใช้