Wie heißt diese Komprimierungstechnik?

Quantisierung verringert die Genauigkeit, mit der jede der Milliarden Zahlen, genannt Parameter, gespeichert wird, aus denen sich das Wissen eines KI-Modells zusammensetzt, indem etwa Zahlen, die mit 16 Bit Genauigkeit gespeichert sind, auf nur 4 oder 8 Bit heruntergerechnet werden. Weil jede Zahl dann weniger Speicher und Rechenleistung braucht, wird das Modell kleiner und schneller, wodurch es oft möglich wird, ein leistungsfähiges Modell auf gewöhnlicher Hardware wie einem Laptop oder Telefon unterzubringen, statt nur auf spezialisierten Servern.

Buffering bedeutet, Daten, oft Audio oder Video, vorübergehend zu speichern, um eine flüssige Wiedergabe zu ermöglichen, ein anderes Konzept als die Reduzierung der Zahlengenauigkeit eines Modells. Indexierung bedeutet, Daten etwa in einer Datenbank so zu organisieren, dass sie sich schnell finden lassen, ohne Bezug dazu, die Zahlenspeicherung eines Modells zu verkleinern.

Sorgfältig durchgeführt, kann Quantisierung die Größe eines Modells drastisch verringern, während seine Genauigkeit kaum leidet, weshalb sie zu einer Schlüsseltechnik geworden ist, die es erlaubt, überraschend leistungsfähige KI auf gewöhnlichen Verbrauchergeräten statt nur in großen Rechenzentren laufen zu lassen.