Jak nazywa się ta technika trenowania?

Destylacja wiedzy (knowledge distillation) trenuje mniejszy, bardziej wydajny model "ucznia", by naśladował wyniki i zachowanie większego, bardziej zaawansowanego modelu "nauczyciela", skutecznie przenosząc znaczną część nabytej umiejętności nauczyciela w kompaktową formę. Uczeń uczy się na podstawie odpowiedzi nauczyciela na wielu przykładach, wchłaniając wzorce rozumowania i stylu, których nauka od podstaw byłaby znacznie droższa, co pozwala firmom wdrażać szybkie, tanie narzędzia, które wciąż działają imponująco dobrze mimo mniejszych rozmiarów.

Szyfrowanie to technika bezpieczeństwa, która przekształca dane w nieczytelny kod, tak by mogły je odczytać tylko uprawnione strony – zupełnie inna koncepcja niż przenoszenie umiejętności między modelami. Overclocking oznacza uruchamianie sprzętu szybciej niż jego standardowe ustawienia w celu zwiększenia wydajności – sztuczka sprzętowa niezwiązana ze sposobem trenowania modelu.

To główny powód, dla którego wiele szybkich, niedrogich chatbotów AI dostępnych dzisiaj wciąż działa imponująco dobrze przy codziennych zadaniach, ponieważ w praktyce dziedziczą one destylowaną wiedzę z znacznie większych, kosztowniejszych modeli, których bezpośrednie uruchamianie dla każdego zapytania użytkownika byłoby niepraktyczne.