Come ci riesce un modello a 'Miscela di Esperti'?

Un modello Mixture of Experts divide la propria rete in molte sotto-reti più piccole e specializzate, chiamate "esperti", e usa un meccanismo di instradamento per decidere quale manciata di esse debba elaborare ciascun elemento in ingresso. Anziché attivare ogni parametro dell'intero modello per ogni richiesta, solo un piccolo sottoinsieme pertinente di esperti si attiva per un determinato prompt, permettendo al modello complessivo di contenere un numero enorme di parametri totali mantenendo comunque il costo di risposta a qualsiasi singola domanda molto più basso rispetto all'uso di ogni parametro ogni volta.

Eliminare permanentemente i parametri inutilizzati toglierebbe al modello la capacità di richiamarli in seguito per input diversi, vanificando lo scopo di avere a disposizione molti esperti specializzati. Eseguire ogni parametro due volte semplicemente raddoppierebbe il costo anziché ridurlo, l'opposto di ciò che questo design ottiene.

Questa architettura è parte del motivo per cui i modelli più capaci di oggi possono contenere conteggi di parametri nell'ordine delle centinaia di miliardi ma rispondere comunque a domande quotidiane a una velocità e a un costo impraticabili se ogni parametro venisse usato per ogni risposta.