Paano ito nagagawa ng isang 'Mixture of Experts' na modelo?

Hinahati ng isang Mixture of Experts model ang network nito sa maraming mas maliit at espesyalisadong sub-network, na tinatawag na "experts," at gumagamit ng mekanismo ng routing upang pagdesisyunan kung aling ilan sa mga ito ang mag-proseso sa bawat bahagi ng input. Sa halip na paandarin ang bawat parameter sa buong modelo sa bawat kahilingan, iilan at kaugnay na subset lamang ng experts ang naaandar para sa isang partikular na tanong, na nagbibigay-daan sa buong modelo na magkaroon ng napakalaking kabuuang bilang ng parameter habang pinapanatiling mas mababa ang gastos sa pagsagot ng isang tanong kumpara sa paggamit ng bawat parameter sa bawat pagkakataon.

Ang permanenteng pagtatanggal sa hindi ginagamit na parameter ay mag-aalis sa kakayahan ng modelo na tawagin ang mga ito para sa ibang input sa hinaharap, na sisira sa layunin ng pagkakaroon ng maraming espesyalisadong expert na handa. Ang pagpapaandar ng bawat parameter nang dalawang beses ay magpaparami lang sa gastos sa halip na bawasan ito, kabaligtaran ng nais makamit ng disenyong ito.

Bahagi ng dahilan kung bakit ang mga pinakamahusay na modelo ngayon ay may kabuuang bilang ng parameter na daan-daang bilyon ngunit magagawa pa ring sumagot sa mga pang-araw-araw na tanong sa bilis at gastos na hindi praktikal kung gagamitin ang bawat parameter sa bawat sagot ay ang arkitekturang ito.