Hoe bereikt een 'Mixture of Experts'-model dit?

Een Mixture of Experts-model verdeelt zijn netwerk in veel kleinere, gespecialiseerde subnetwerken, "experts" genoemd, en gebruikt een routeringsmechanisme om te bepalen welke handvol elk stukje input moet verwerken. In plaats van elke parameter in het hele model voor elk verzoek te activeren, wordt slechts een kleine, relevante subset experts ingeschakeld voor een gegeven prompt, waardoor het model als geheel een enorm totaal aantal parameters kan bevatten terwijl de kosten om een enkele vraag te beantwoorden veel lager blijven dan wanneer telkens elke parameter zou worden gebruikt.

Ongebruikte parameters permanent verwijderen zou het vermogen van het model wegnemen om er later voor andere invoer nog een beroep op te doen, wat het hele doel van veel gespecialiseerde experts achter de hand hebben teniet zou doen. Elke parameter twee keer draaien zou de kosten simpelweg verdubbelen in plaats van verlagen, het tegenovergestelde van wat dit ontwerp bereikt.

Deze architectuur verklaart mede waarom de meest capabele modellen van vandaag parametertellingen van honderden miljarden kunnen bevatten en toch alledaagse vragen kunnen beantwoorden met een snelheid en tegen kosten die onpraktisch zouden zijn als elke parameter voor elk antwoord werd gebruikt.