「專家混合(Mixture of Experts)」模型是如何做到的?

混合專家模型(Mixture of Experts)把網路劃分成許多較小的專門子網路,稱為「專家」,並使用一套路由機制來決定每筆輸入應該由哪幾個專家來處理。它不會為每一次請求啟動整個模型裡的所有參數,而是只針對每個提示啟動一小部分相關的專家,讓整個模型得以擁有龐大的總參數量,同時把回答任何單一問題的成本,壓低到遠低於每次都動用全部參數的程度。

永久刪除未使用的參數,會讓模型日後無法再針對不同輸入調用這些參數,反而違背了保留眾多專門專家備用的初衷。讓每個參數運算兩次只會使成本加倍,而不是降低成本,恰與這項設計想達成的目標相反。

正是這種架構,讓今日最強大的模型能夠擁有高達數千億的參數量,卻依然能以一種若讓每個參數都參與每次回答就難以負擔的速度與成本,回應日常查詢。