Como um modelo de 'Mistura de Especialistas' consegue isso?

Um modelo de Mistura de Especialistas (Mixture of Experts) divide sua rede em muitas sub-redes menores e especializadas, chamadas "especialistas", e usa um mecanismo de roteamento para decidir qual pequeno grupo deve processar cada parte da entrada. Em vez de ativar cada parâmetro do modelo inteiro para cada solicitação, apenas um pequeno subconjunto relevante de especialistas é acionado para um determinado prompt, permitindo que o modelo como um todo mantenha uma contagem total de parâmetros enorme mantendo o custo de responder a qualquer pergunta muito menor do que usar todos os parâmetros o tempo todo.

Apagar parâmetros não utilizados permanentemente eliminaria a capacidade do modelo de recorrer a eles para entradas diferentes no futuro, anulando o propósito de ter muitos especialistas disponíveis. Rodar cada parâmetro duas vezes simplesmente dobraria o custo em vez de reduzi-lo, o oposto do que essa arquitetura busca alcançar.

Essa arquitetura é parte do motivo pelo qual os modelos mais capazes de hoje conseguem ter contagens de parâmetros na casa das centenas de bilhões e ainda assim responder a consultas do dia a dia com uma velocidade e um custo que seriam inviáveis se cada parâmetro fosse usado em cada resposta.