tech
Niektóre z największych modeli AI zawierają setki miliardów parametrów, lecz do odpowiedzi na pojedyncze zapytanie włączają tylko niewielki ich ułamek.
Model Mixture of Experts (mieszanka ekspertów) dzieli swoją sieć na wiele mniejszych, wyspecjalizowanych podsieci zwanych "ekspertami" i wykorzystuje mechanizm routingu, by zdecydować, która garstka z nich powinna przetworzyć każdy fragment danych wejściowych. Zamiast aktywować każdy parametr w całym modelu przy każdym zapytaniu, dla danego polecenia włącza się tylko niewielki, odpowiedni podzbiór ekspertów, co pozwala całemu modelowi utrzymywać ogromną łączną liczbę parametrów, jednocześnie utrzymując koszt udzielenia odpowiedzi na dowolne pytanie znacznie niższy, niż gdyby za każdym razem używano wszystkich parametrów.
Trwałe usunięcie nieużywanych parametrów pozbawiłoby model możliwości korzystania z nich przy innych danych wejściowych w przyszłości, niwecząc sens posiadania wielu wyspecjalizowanych ekspertów w gotowości. Uruchomienie każdego parametru dwukrotnie po prostu podwoiłoby koszt zamiast go obniżać, czyli odwrotność tego, co osiąga ten projekt.
Ta architektura jest jednym z powodów, dla których dzisiejsze najbardziej zaawansowane modele mogą mieć liczbę parametrów sięgającą setek miliardów, a mimo to nadal odpowiadać na codzienne zapytania z prędkością i kosztem niepraktycznym, gdyby przy każdej odpowiedzi używano wszystkich parametrów.
tech
Jak nazywa się ten materiał treningowy wygenerowany przez AI?Jak nazywa się to drugie podejście, czyli trenowanie na przykładach?Jak ogólnie działa taki 'znak wodny' tekstu?Jak nazywa się ta technika trenowania?Jak nazywa się ta technika kompresji?Jak nazywa się modele SI obsługujące kilka typów danych wejściowych naraz?Która firma prowadzi tę w pełni bezzałogową komercyjną usługę robotaksówek?Jaki jest najwyższy numer poziomu w znanej skali SAE, oznaczający pełną automatyzację?Jak nazywa się humanoidalny robot zaprezentowany przez producenta samochodów Tesla?Która firma była pionierem tej medycznej usługi dostaw dronami w Afryce?Magazynowe roboty Amazona wyrosły z zakupu w 2012 roku którego producenta robotów?Jak nazywa się szeroko stosowany robot chirurgiczny firmy Intuitive Surgical?Quration — Quration Play