'전문가 혼합(Mixture of Experts)' 모델은 어떻게 이를 해낼까요?

혼합전문가(Mixture of Experts) 모델은 신경망을 '전문가'라 불리는 여러 개의 작고 특화된 하위 네트워크로 나누고, 라우팅 메커니즘을 이용해 입력 하나하나마다 그중 몇 개만 처리를 맡깁니다. 요청마다 모델 전체의 모든 매개변수를 활성화하는 대신, 각 프롬프트에 관련성 높은 소수의 전문가만 작동시킴으로써, 전체 모델은 어마어마한 총 매개변수 수를 유지하면서도 질문 하나에 답하는 데 드는 비용은 매번 모든 매개변수를 다 쓰는 것보다 훨씬 낮게 유지할 수 있습니다.

쓰지 않는 매개변수를 영구히 삭제해버리면 나중에 다른 입력을 위해 그 매개변수를 다시 불러올 수 없게 되어, 여러 특화된 전문가를 대기시켜두는 목적 자체가 무너집니다. 모든 매개변수를 두 번씩 실행하는 것은 비용을 줄이기는커녕 그저 두 배로 늘릴 뿐이라, 이 설계가 이루려는 것과는 정반대입니다.

이런 구조 덕분에 오늘날 가장 뛰어난 모델들은 수천억 개에 달하는 매개변수를 가지고 있으면서도, 매번 모든 매개변수를 다 써야 한다면 감당하기 어려울 정도로 낮은 속도와 비용으로 일상적인 질의에 응답할 수 있는 것입니다.