Comment s'appelle cette technique d'entraînement ?

La distillation de connaissances entraîne un modèle « élève » plus petit et plus efficace à imiter les sorties et le comportement d'un modèle « enseignant » plus grand et plus capable, transférant ainsi efficacement une grande partie du savoir-faire de l'enseignant dans une forme compacte. L'élève apprend à partir des réponses de l'enseignant sur de nombreux exemples, absorbant des motifs de raisonnement et de style qui seraient bien plus coûteux à apprendre de zéro, ce qui permet aux entreprises de déployer des outils rapides et peu coûteux, tout en conservant des performances impressionnantes malgré leur taille réduite.

Le chiffrement est une technique de sécurité qui brouille les données afin que seules les parties autorisées puissent les lire, un concept entièrement différent du transfert de compétences entre modèles. Le surcadençage consiste à faire tourner du matériel plus vite que ses réglages standard pour en accroître les performances, une astuce matérielle sans rapport avec la façon dont un modèle est entraîné.

C'est l'une des raisons majeures pour lesquelles tant de robots conversationnels d'IA rapides et bon marché offrent aujourd'hui des performances impressionnantes sur les tâches courantes, puisqu'ils héritent en pratique de connaissances distillées à partir de modèles bien plus grands et coûteux, qu'il serait impossible d'exécuter directement pour chaque requête utilisateur.