Hoe heet deze trainingstechniek?

Kennisdistillatie traint een kleiner, efficiënter "leerling"-model om de uitvoer en het gedrag van een groter, capabeler "docent"-model na te bootsen, waardoor in feite veel van de geleerde vaardigheid van de docent wordt overgedragen naar een compacte vorm. De leerling leert van de antwoorden van de docent over vele voorbeelden, en neemt patronen van redenering en stijl op die veel duurder zouden zijn om vanaf nul te leren, waardoor bedrijven snelle, goedkope tools kunnen inzetten die ondanks hun kleinere omvang toch indrukwekkend goed presteren.

Versleuteling is een beveiligingstechniek die gegevens verhaspelt zodat alleen bevoegde partijen ze kunnen lezen, een compleet ander concept dan het overdragen van vaardigheden tussen modellen. Overklokken betekent hardware sneller laten draaien dan de standaardinstellingen om de prestaties te verhogen, een hardwaretruc zonder verband met hoe een model wordt getraind.

Dit is een belangrijke reden waarom veel snelle, goedkope AI-chatbots die vandaag beschikbaar zijn nog steeds indrukwekkend goed presteren bij alledaagse taken, aangezien ze in feite gedistilleerde kennis erven van veel grotere, duurdere modellen die onpraktisch zouden zijn om rechtstreeks voor elk gebruikersverzoek te draaien.