basics
Jahrelang rechtfertigte ein einfacher Glaubenssatz die größten Investitionen der KI-Branche: Wirf mehr Daten und Rechenleistung auf ein Modell, und es wird stetig besser.
Skalierungsgesetze sind das empirische Muster hinter diesem Glauben – beobachtete Zusammenhänge, wonach die Vergrößerung eines Modells, seiner Trainingsdaten und der dafür eingesetzten Rechenleistung bis zu einem gewissen Punkt recht vorhersehbare Leistungsverbesserungen bringt, was Investoren eine Begründung lieferte, gewaltige Summen in immer größere Trainingsläufe zu stecken.
Moores Gesetz beschreibt den historischen Trend, dass sich die Transistordichte von Computerchips im Lauf der Zeit ungefähr verdoppelt, und Murphys Gesetz ist ein trockener Spruch, wonach alles, was schiefgehen kann, auch schiefgeht – keines von beiden beschreibt den Zusammenhang zwischen Daten, Rechenleistung und Leistung, der die größten Investitionen der KI-Branche rechtfertigte.
In jüngerer Zeit hat sich die Aufmerksamkeit auf 'Inference-Time Scaling' verschoben – die Erkenntnis, dass ein Modell im Moment der Antwort länger nachdenken zu lassen, statt es nur beim Training größer zu machen, ebenfalls die Leistung zuverlässig steigern kann, was eine Debatte darüber auslöste, ob klassisches Pretraining-Scaling an abnehmende Erträge stößt.
basics
Wie lautet das Kürzel für das Ziel jenseits aufgabenspezifischer KI — maschinelle Intelligenz, so allgemein wie die eines Menschen?Wie heißen diese?Wie heißt der Oberbegriff dafür?Wie heißen diese Stücke?Wenn man von einem KI-Modell mit „70 Milliarden Parametern“ spricht, was wird da eigentlich gezählt?Wie heißt dieses Phänomen?Wie hieß es?Wie heißt dieser Trainingsschritt mit menschlichem Feedback?Wie heißt diese Grenze?Llama, das Flaggschiff dieser „Open-Weight“-Modelle, wurde von welchem Unternehmen veröffentlicht?Wie nennt man Modelle, die mehrere Formen von Ein- und Ausgabe beherrschen?Was tun diese „Reasoning-Modelle“ während dieser Pause?Quration — Quration AIQ