Jak nazywa się ta technika kompresji?

Kwantyzacja zmniejsza precyzję, z jaką przechowywana jest każda z miliardów liczb, zwanych parametrami, składających się na wiedzę modelu AI, na przykład zamieniając liczby przechowywane z precyzją 16 bitów na zaledwie 4 lub 8 bitów. Ponieważ każda liczba zajmuje wtedy mniej pamięci i wymaga mniej obliczeń, model staje się mniejszy i szybszy w działaniu, co często umożliwia uruchomienie wydajnego modelu na zwykłym sprzęcie, takim jak laptop czy telefon, zamiast na wyspecjalizowanych serwerach.

Buforowanie oznacza tymczasowe przechowywanie danych, często audio lub wideo, w celu płynnego odtwarzania – to inna koncepcja niż zmniejszanie precyzji liczbowej modelu. Indeksowanie oznacza organizowanie danych, na przykład w bazie danych, tak by można je było szybko odnaleźć, co nie ma związku ze zmniejszaniem sposobu przechowywania liczb w modelu.

Wykonana starannie kwantyzacja może drastycznie zmniejszyć rozmiar modelu, ledwie wpływając na jego dokładność, dlatego stała się kluczową techniką umożliwiającą działanie zaskakująco potężnej AI na zwykłych urządzeniach konsumenckich, a nie tylko w dużych centrach danych.