Apakah nama teknik latihan ini?

Penyulingan pengetahuan (knowledge distillation) melatih model "pelajar" yang lebih kecil dan cekap untuk meniru output dan tingkah laku model "guru" yang lebih besar dan berkeupayaan, secara berkesan memindahkan kebanyakan kemahiran yang dipelajari oleh guru itu ke dalam bentuk yang padat. Pelajar itu belajar daripada respons guru merentasi banyak contoh, menyerap corak penaakulan dan gaya yang akan jauh lebih mahal untuk dipelajari dari awal, membolehkan syarikat menggunakan alat yang pantas dan murah yang masih berprestasi mengagumkan walaupun saiznya lebih kecil.

Penyulitan (encryption) ialah teknik keselamatan yang mengacaukan data supaya hanya pihak yang dibenarkan boleh membacanya, satu konsep yang sama sekali berbeza daripada memindahkan kemahiran antara model. Overclocking pula bermaksud menjalankan perkakasan lebih pantas berbanding tetapan standardnya untuk meningkatkan prestasi, satu helah perkakasan yang tiada kaitan dengan bagaimana sesebuah model dilatih.

Ini adalah sebab utama mengapa banyak sembang bot AI yang pantas dan murah yang tersedia hari ini masih berprestasi mengagumkan bagi tugas harian, kerana ia secara berkesan mewarisi pengetahuan yang disuling daripada model yang jauh lebih besar dan mahal yang tidak praktikal untuk dijalankan terus bagi setiap permintaan pengguna.