Comment un modèle à 'mélange d'experts' y parvient-il ?

Un modèle de type « mélange d'experts » (Mixture of Experts) divise son réseau en de nombreux sous-réseaux plus petits et spécialisés, appelés « experts », et utilise un mécanisme de routage pour décider lesquels doivent traiter chaque élément d'entrée. Plutôt que d'activer chaque paramètre de l'ensemble du modèle pour chaque requête, seul un petit sous-ensemble pertinent d'experts s'active pour une consigne donnée, ce qui permet au modèle global de contenir un nombre total de paramètres énorme tout en gardant le coût de traitement de chaque question bien plus bas que si tous les paramètres étaient utilisés à chaque fois.

Supprimer définitivement les paramètres inutilisés priverait le modèle de la possibilité d'y faire appel plus tard pour d'autres types de données, ce qui irait à l'encontre de l'intérêt de disposer de nombreux experts spécialisés. Faire tourner chaque paramètre deux fois ne ferait que doubler le coût plutôt que de le réduire, exactement l'inverse de ce que vise cette conception.

Cette architecture explique en partie pourquoi les modèles les plus performants d'aujourd'hui peuvent contenir des centaines de milliards de paramètres tout en répondant aux requêtes courantes à une vitesse et à un coût qui seraient impraticables si chaque paramètre était utilisé pour chaque réponse.