basics

Un raccourci pour créer de bons petits modèles : utiliser les réponses d'un grand modèle comme manuel pour en enseigner un plus petit. Cette technique tire son nom du raffinage des spiritueux.

Laquelle ?

Q: Laquelle ?

Distillation. La distillation transfère les capacités d'un grand modèle « enseignant » vers un petit modèle « élève ». Elle alimente la course aux modèles peu coûteux mais performants — et suscite des litiges sur la légitimité d'entraîner un modèle sur les sorties d'une autre entreprise.

Fermentation
Distillation ✓
Vieillissement

Distillation
La distillation transfère les capacités d'un grand modèle « enseignant » vers un petit modèle « élève ». Elle alimente la course aux modèles peu coûteux mais performants — et suscite des litiges sur la légitimité d'entraîner un modèle sur les sorties d'une autre entreprise.

▶ Quration AIQ

basics

Quelle est l'une des principales réponses de l'industrie ?Pendant des années, une croyance simple a gouverné l'industrie de l'IA : « Augmentez le modèle, les données et le calcul, et la performance s'améliore de façon prévisible. » Comment appelle-t-on cette règle empirique — la justification des paris à plusieurs milliards ?Quel est l'acronyme de l'objectif au-delà de l'IA spécifique à une tâche — une intelligence artificielle aussi générale que celle d'un humain ?Comment les appelle-t-on ?Quel est le terme générique ?Comment appelle-t-on ces fragments ?Quand on dit qu'un modèle d'IA a « 70 milliards de paramètres », que compte-t-on exactement ?Comment appelle-t-on ce phénomène ?Comment s'appelait-il ?Comment appelle-t-on cette étape d'entraînement par retour humain ?Comment appelle-t-on cette limite ?Llama, le fer de lance des modèles « à poids ouverts » que n'importe qui peut télécharger et faire tourner sur ses propres serveurs, a été lancé par quelle entreprise ?

Quration — Quration AIQ