tech

Einige der größten KI-Modelle enthalten Hunderte Milliarden Parameter, schalten aber nur einen kleinen Teil davon ein, um eine einzelne Eingabe zu beantworten.

Wie erreicht ein 'Mixture of Experts'-Modell das?

Q: Wie erreicht ein 'Mixture of Experts'-Modell das?

Es leitet jede Eingabe an wenige spezialisierte Teilnetze. Ein Mixture of Experts teilt das Netz in viele 'Experten'-Teilmodelle auf, und ein Router wählt pro Token nur wenige aus, sodass ein riesiges Modell zu einem Bruchteil der Kosten läuft. Dieses Design lässt Labore die Gesamtkapazität steigern, ohne dass der Rechenaufwand pro Antwort entsprechend mitwächst.

Es leitet jede Eingabe an wenige spezialisierte Teilnetze ✓
Es löscht ungenutzte Parameter dauerhaft
Es führt jeden Parameter zweimal aus für Genauigkeit

Es leitet jede Eingabe an wenige spezialisierte Teilnetze
Ein Mixture of Experts teilt das Netz in viele 'Experten'-Teilmodelle auf, und ein Router wählt pro Token nur wenige aus, sodass ein riesiges Modell zu einem Bruchteil der Kosten läuft. Dieses Design lässt Labore die Gesamtkapazität steigern, ohne dass der Rechenaufwand pro Antwort entsprechend mitwächst.

Ein Mixture-of-Experts-Modell teilt sein Netzwerk in viele kleinere, spezialisierte Teilnetze auf, genannt "Experten", und nutzt einen Routing-Mechanismus, um zu entscheiden, welche wenigen davon jedes Eingabestück verarbeiten sollen. Statt jeden Parameter im gesamten Modell für jede Anfrage zu aktivieren, schaltet sich nur eine kleine, passende Teilmenge von Experten für eine bestimmte Eingabe ein, wodurch das Gesamtmodell eine enorme Gesamtparameterzahl vorhalten kann, während die Kosten für die Beantwortung einer einzelnen Frage deutlich niedriger bleiben, als wenn stets alle Parameter genutzt würden.

Nicht genutzte Parameter dauerhaft zu löschen würde dem Modell die Fähigkeit nehmen, sie später bei anderen Eingaben heranzuziehen, was den Sinn hätte zunichtemachen, viele spezialisierte Experten bereitzuhalten. Jeden Parameter zweimal auszuführen würde die Kosten schlicht verdoppeln statt sie zu senken, das Gegenteil dessen, was dieses Design erreicht.

Diese Architektur erklärt mit, warum die heute leistungsfähigsten Modelle Parameterzahlen im Bereich mehrerer Hundert Milliarden vorhalten können und trotzdem alltägliche Anfragen mit einer Geschwindigkeit und zu Kosten beantworten, die unpraktikabel wären, würde man für jede Antwort jeden Parameter nutzen.

▶ Quration Play

tech

Wie nennt man dieses von KI erzeugte Trainingsmaterial?Wie heißt der zweite Ansatz, das Training mit Beispielen?Wie funktioniert dieses Text-'Wasserzeichen' im Allgemeinen?Wie heißt diese Trainingstechnik?Wie heißt diese Komprimierungstechnik?Wie nennt man KI-Modelle, die mehrere Eingabearten zugleich verarbeiten?Welches Unternehmen betreibt diesen vollständig fahrerlosen kommerziellen Robotaxi-Dienst?Welche Stufennummer ist auf der bekannten SAE-Skala die höchste und steht für volle Automatisierung?Wie heißt der humanoide Roboter, den der Autohersteller Tesla vorgestellt hat?Welches Unternehmen war Vorreiter dieses medizinischen Drohnenlieferdienstes in Afrika?Amazons Lagerroboter gingen aus dem Kauf welches Roboterherstellers im Jahr 2012 hervor?Wie heißt der weitverbreitete OP-Roboter von Intuitive Surgical?

Quration — Quration Play