Bu eğitim tekniğinin adı nedir?

Bilgi damıtma (knowledge distillation), daha büyük, daha yetenekli bir "öğretmen" modelin çıktılarını ve davranışını taklit etmesi için daha küçük, daha verimli bir "öğrenci" modeli eğitir; böylece öğretmenin öğrendiği becerinin büyük bir kısmını kompakt bir biçime etkili biçimde aktarır. Öğrenci, öğretmenin pek çok örnek genelindeki yanıtlarından öğrenir; sıfırdan öğrenilmesi çok daha pahalı olacak akıl yürütme ve tarz kalıplarını özümser; bu da şirketlerin, küçük boyutlarına rağmen hâlâ etkileyici performans gösteren hızlı, ucuz araçlar konuşlandırmasını sağlar.

Şifreleme, sadece yetkili tarafların okuyabilmesi için verileri karıştıran bir güvenlik tekniğidir; modeller arasında beceri aktarmaktan tamamen farklı bir kavramdır. Aşırı hızlandırma (overclocking) ise donanımı standart ayarlarından daha hızlı çalıştırarak performansı artırmak anlamına gelir; bu, bir modelin nasıl eğitildiğiyle ilgisi olmayan bir donanım hilesidir.

Bu, günümüzde mevcut pek çok hızlı, ucuz yapay zeka sohbet botunun sıradan görevlerde hâlâ etkileyici biçimde iyi performans göstermesinin başlıca nedenlerinden biridir, çünkü bu botlar, her kullanıcı isteği için doğrudan çalıştırılması pratik olmayan çok daha büyük, daha maliyetli modellerden etkili biçimde damıtılmış bilgi devralır.