'মিক্সচার অব এক্সপার্টস' মডেল কীভাবে এটি করে?

একটা মিক্সচার অফ এক্সপার্টস মডেল তার নেটওয়ার্ককে অনেক ছোট বিশেষায়িত উপ-নেটওয়ার্কে ভাগ করে, যাদের বলা হয় "এক্সপার্ট", আর একটা রাউটিং ব্যবস্থা ব্যবহার করে ঠিক করে প্রতিটা ইনপুট প্রক্রিয়া করতে কোন কয়েকজনকে কাজে লাগানো উচিত। প্রতিটা অনুরোধের জন্য পুরো মডেলের সব প্যারামিটার সক্রিয় করার বদলে, প্রতিটা প্রম্পটের জন্য কেবল অল্প, প্রাসঙ্গিক কয়েকজন এক্সপার্ট সক্রিয় হয়, ফলে পুরো মডেল বিশাল মোট প্যারামিটার সংখ্যা ধরে রাখতে পারে, অথচ প্রতিবার সব প্যারামিটার ব্যবহার করার চেয়ে যেকোনো একটা প্রশ্নের উত্তর দেওয়ার খরচ অনেক কম রাখে।

ব্যবহৃত না হওয়া প্যারামিটার স্থায়ীভাবে মুছে ফেললে ভবিষ্যতে ভিন্ন ইনপুটের জন্য মডেলের সেগুলো ব্যবহার করার ক্ষমতা কেড়ে নেওয়া হবে, যা হাতের কাছে অনেক বিশেষায়িত এক্সপার্ট রাখার পুরো উদ্দেশ্যকেই ব্যর্থ করে দেয়। প্রতিটা প্যারামিটার দুবার চালালে তা খরচ কমানোর বদলে দ্বিগুণ করে দেবে, এই নকশা যা অর্জন করতে চায় তার ঠিক বিপরীত।

এই স্থাপত্যই আজকের সবচেয়ে সক্ষম মডেলগুলোকে শত শত কোটি প্যারামিটার ধরে রাখতে দেয়, অথচ প্রতিটা প্যারামিটার প্রতিটা উত্তরে ব্যবহার করলে যা অবাস্তব হয়ে যেত, এমন গতি ও খরচেই তারা দৈনন্দিন প্রশ্নের উত্তর দিতে পারে।