Bagaimanakah model 'Campuran Pakar' mencapainya?

Model Mixture of Experts (campuran pakar) membahagikan rangkaiannya kepada banyak sub-rangkaian khusus yang lebih kecil, dipanggil "pakar", dan menggunakan mekanisme penghalaan untuk menentukan segelintir yang mana perlu memproses setiap bahagian input. Berbanding mengaktifkan setiap parameter dalam keseluruhan model bagi setiap permintaan, hanya sebahagian kecil pakar yang relevan diaktifkan bagi mana-mana gesaan tertentu, membolehkan model keseluruhan memegang jumlah parameter keseluruhan yang amat besar sambil mengekalkan kos menjawab mana-mana satu soalan jauh lebih rendah berbanding menggunakan setiap parameter setiap kali.

Memadam parameter yang tidak digunakan secara kekal akan menghapuskan keupayaan model untuk memanggil parameter itu bagi input yang berbeza kemudian, mengalahkan tujuan mempunyai banyak pakar khusus yang tersedia. Menjalankan setiap parameter dua kali pula hanya akan menggandakan kos berbanding menguranginya, sebaliknya daripada apa yang dicapai oleh reka bentuk ini.

Seni bina ini adalah sebahagian sebab mengapa model paling berkeupayaan hari ini boleh memegang jumlah parameter dalam ratusan bilion namun masih dapat menjawab pertanyaan harian pada kelajuan dan kos yang mustahil sekiranya setiap parameter digunakan bagi setiap jawapan.