'मिक्सचर ऑफ़ एक्सपर्ट्स' मॉडल यह कैसे कर पाता है?

मिक्सचर ऑफ़ एक्सपर्ट्स मॉडल अपने नेटवर्क को कई छोटे विशेषज्ञ उप-नेटवर्कों में बाँट देता है, जिन्हें "एक्सपर्ट" कहा जाता है, और यह तय करने के लिए एक रूटिंग तंत्र इस्तेमाल करता है कि हर इनपुट को मुट्ठी भर कौन-से एक्सपर्ट संभालेंगे। हर अनुरोध के लिए पूरे मॉडल के सारे पैरामीटर सक्रिय करने के बजाय, किसी दिए गए प्रॉम्प्ट के लिए केवल एक छोटा, प्रासंगिक एक्सपर्ट-समूह ही चालू होता है, जिससे पूरा मॉडल एक विशाल कुल पैरामीटर संख्या रख सकता है जबकि किसी एक सवाल का जवाब देने की लागत हर बार सारे पैरामीटर इस्तेमाल करने की तुलना में कहीं कम रहती है।

बिना इस्तेमाल के पैरामीटरों को स्थायी रूप से हटा देने से मॉडल की बाद में अलग-अलग इनपुट के लिए उन्हें बुलाने की क्षमता ख़त्म हो जाएगी, जो कई विशेषज्ञ एक्सपर्ट रखने के मक़सद को ही निष्फल कर देगा। हर पैरामीटर को दो बार चलाना बस लागत को दोगुना कर देगा, न कि घटाएगा, जो इस डिज़ाइन की उपलब्धि के बिल्कुल उलट होगा।

यह वास्तुकला एक बड़ी वजह है कि आज के सबसे सक्षम मॉडल सैकड़ों अरब पैरामीटर रख सकते हैं फिर भी रोज़मर्रा के सवालों का जवाब उस रफ़्तार और लागत पर दे सकते हैं जो हर जवाब के लिए हर पैरामीटर इस्तेमाल करने पर असंभव होता।