Quration Play

tech

Niektóre z największych modeli AI zawierają setki miliardów parametrów, lecz do odpowiedzi na pojedyncze zapytanie włączają tylko niewielki ich ułamek.

Jak osiąga to model typu 'mieszanka ekspertów'?

Kieruje każde wejście do kilku wyspecjalizowanych podsieci
Mieszanka ekspertów dzieli sieć na wiele 'eksperckich' podmodeli, a router wybiera tylko kilka z nich na token, więc ogromny model działa za ułamek kosztów. Taka konstrukcja pozwala laboratoriom zwiększać całkowitą pojemność bez proporcjonalnego wzrostu obliczeń na odpowiedź.

Model Mixture of Experts (mieszanka ekspertów) dzieli swoją sieć na wiele mniejszych, wyspecjalizowanych podsieci zwanych "ekspertami" i wykorzystuje mechanizm routingu, by zdecydować, która garstka z nich powinna przetworzyć każdy fragment danych wejściowych. Zamiast aktywować każdy parametr w całym modelu przy każdym zapytaniu, dla danego polecenia włącza się tylko niewielki, odpowiedni podzbiór ekspertów, co pozwala całemu modelowi utrzymywać ogromną łączną liczbę parametrów, jednocześnie utrzymując koszt udzielenia odpowiedzi na dowolne pytanie znacznie niższy, niż gdyby za każdym razem używano wszystkich parametrów.

Trwałe usunięcie nieużywanych parametrów pozbawiłoby model możliwości korzystania z nich przy innych danych wejściowych w przyszłości, niwecząc sens posiadania wielu wyspecjalizowanych ekspertów w gotowości. Uruchomienie każdego parametru dwukrotnie po prostu podwoiłoby koszt zamiast go obniżać, czyli odwrotność tego, co osiąga ten projekt.

Ta architektura jest jednym z powodów, dla których dzisiejsze najbardziej zaawansowane modele mogą mieć liczbę parametrów sięgającą setek miliardów, a mimo to nadal odpowiadać na codzienne zapytania z prędkością i kosztem niepraktycznym, gdyby przy każdej odpowiedzi używano wszystkich parametrów.

▶ Quration Play

tech

Jak nazywa się ten materiał treningowy wygenerowany przez AI?Jak nazywa się to drugie podejście, czyli trenowanie na przykładach?Jak ogólnie działa taki 'znak wodny' tekstu?Jak nazywa się ta technika trenowania?Jak nazywa się ta technika kompresji?Jak nazywa się modele SI obsługujące kilka typów danych wejściowych naraz?Która firma prowadzi tę w pełni bezzałogową komercyjną usługę robotaksówek?Jaki jest najwyższy numer poziomu w znanej skali SAE, oznaczający pełną automatyzację?Jak nazywa się humanoidalny robot zaprezentowany przez producenta samochodów Tesla?Która firma była pionierem tej medycznej usługi dostaw dronami w Afryce?Magazynowe roboty Amazona wyrosły z zakupu w 2012 roku którego producenta robotów?Jak nazywa się szeroko stosowany robot chirurgiczny firmy Intuitive Surgical?

Quration — Quration Play