Apa nama teknik pelatihan ini?

Distilasi pengetahuan melatih model "murid" yang lebih kecil dan efisien untuk meniru output serta perilaku model "guru" yang lebih besar dan mumpuni, secara efektif mentransfer sebagian besar keterampilan yang dipelajari guru itu ke dalam bentuk yang kompak. Model murid belajar dari respons guru pada banyak contoh, menyerap pola penalaran dan gaya yang akan jauh lebih mahal dipelajari dari nol, memungkinkan perusahaan menerapkan alat yang cepat dan murah namun tetap berkinerja mengesankan meski ukurannya lebih kecil.

Enkripsi adalah teknik keamanan yang mengacak data sehingga hanya pihak berwenang yang bisa membacanya, konsep yang sama sekali berbeda dari mentransfer keterampilan antarmodel. Overclocking berarti menjalankan perangkat keras lebih cepat dari pengaturan standarnya untuk meningkatkan performa, trik perangkat keras yang tidak berkaitan dengan cara model dilatih.

Ini adalah alasan utama mengapa banyak chatbot AI yang cepat dan murah saat ini masih berkinerja mengesankan pada tugas sehari-hari, karena mereka secara efektif mewarisi pengetahuan hasil distilasi dari model yang jauh lebih besar dan mahal yang tidak praktis dijalankan langsung untuk setiap permintaan pengguna.