basics

KI-Unternehmen prahlen gerne mit der Modellgröße anhand einer einzigen riesigen Zahl, als garantiere allein eine größere Zahl eine klügere Maschine.

Wenn man von einem KI-Modell mit „70 Milliarden Parametern“ spricht, was wird da eigentlich gezählt?

Q: Wenn man von einem KI-Modell mit „70 Milliarden Parametern“ spricht, was wird da eigentlich gezählt?

Die Anzahl der einstellbaren Zahlen (Gewichte) im Modell. Parameter sind die internen Gewichte, die beim Training angepasst werden. Mehr bedeutet meist mehr Ausdruckskraft – doch gut trainierte kleine Modelle schlagen zunehmend größere.

Die Anzahl der Dokumente in den Trainingsdaten
Die Anzahl der einstellbaren Zahlen (Gewichte) im Modell ✓
Die Anzahl der Nutzer, die es gleichzeitig bedienen kann

Die Anzahl der einstellbaren Zahlen (Gewichte) im Modell
Parameter sind die internen Gewichte, die beim Training angepasst werden. Mehr bedeutet meist mehr Ausdruckskraft – doch gut trainierte kleine Modelle schlagen zunehmend größere.

Parameter bezeichnen die Anzahl der einstellbaren Zahlen, oder Gewichte, die während des Trainings in einem Modell angepasst werden, nicht die Anzahl der Dokumente, aus denen es gelernt hat, oder wie viele Nutzer es gleichzeitig bedienen kann. Grundsätzlich bedeuten mehr Parameter mehr Kapazität für ein Modell, komplexe Muster darzustellen, da es schlicht mehr interne Werte gibt, die angepasst werden können, um Nuancen in den Daten zu erfassen.

Die Anzahl der Trainingsdokumente beschreibt die Größe des Datensatzes, aus dem ein Modell gelernt hat, und die Anzahl gleichzeitiger Nutzer betrifft etwas ganz anderes, nämlich Serverinfrastruktur und Nachfrage, beides völlig andere Konzepte als die Zahl der einstellbaren Gewichte im Modell selbst.

Größer ist nicht automatisch besser, denn gut trainierte kleinere Modelle haben größere zunehmend bei vielen Aufgaben eingeholt oder übertroffen, was zeigt, dass Trainingsmethode und Trainingsdaten ebenso wichtig sein können wie die reine Parameterzahl.

▶ Quration AIQ

basics

Wie heißt dieses Phänomen?Wie hieß es?Wie heißt dieser Trainingsschritt mit menschlichem Feedback?Wie heißt diese Grenze?Llama, das Flaggschiff dieser „Open-Weight“-Modelle, wurde von welchem Unternehmen veröffentlicht?Wie nennt man Modelle, die mehrere Formen von Ein- und Ausgabe beherrschen?Was tun diese „Reasoning-Modelle“ während dieser Pause?Wie heißt dieser Ansatz, bei dem die KI auf dem Gerät läuft statt in der Cloud?Wie heißt sie?Was ist eine der wichtigsten Antworten der Branche darauf?Wie heißt diese empirische Regel?Wie lautet das Kürzel für das Ziel jenseits aufgabenspezifischer KI — maschinelle Intelligenz, so allgemein wie die eines Menschen?

Quration — Quration AIQ