Bir 'Uzmanlar Karışımı' modeli bunu nasıl başarır?

Uzman Karışımı (Mixture of Experts) modeli, ağını "uzman" adı verilen birçok daha küçük, özelleşmiş alt ağa böler ve her bir girdi parçasını hangi birkaç uzmanın işleyeceğine karar veren bir yönlendirme mekanizması kullanır. Her istek için modeldeki her parametreyi etkinleştirmek yerine, herhangi bir istek için yalnızca küçük, ilgili bir uzman alt kümesi devreye girer; bu da genel modelin devasa bir toplam parametre sayısına sahip olmasını sağlarken, her seferinde her parametreyi kullanmaya kıyasla herhangi bir soruya yanıt verme maliyetini çok daha düşük tutar.

Kullanılmayan parametreleri kalıcı olarak silmek, modelin bunları daha sonra farklı girdiler için çağırma yeteneğini ortadan kaldırır ve elde birçok özelleşmiş uzman bulundurmanın amacını boşa çıkarır. Her parametreyi iki kez çalıştırmak ise maliyeti azaltmak yerine basitçe ikiye katlar; bu, tasarımın başardığının tam tersidir.

Bu mimari, günümüzün en yetenekli modellerinin yüz milyarlarca parametreye ulaşabilmesine rağmen, her parametrenin her yanıt için kullanılması hâlinde pratik olmayacak bir hız ve maliyetle sıradan sorguları hâlâ yanıtlayabilmesinin nedenlerinden biridir.