Come si chiama questa tecnica di compressione?

La quantizzazione riduce la precisione usata per memorizzare ciascuno dei miliardi di numeri, chiamati parametri, che compongono la conoscenza di un modello di IA, ad esempio convertendo numeri memorizzati con 16 bit di precisione fino a soli 4 o 8 bit. Poiché ogni numero occupa quindi meno memoria e calcolo, il modello diventa più piccolo e veloce da eseguire, rendendo spesso possibile far girare un modello capace su hardware comune come un laptop o un telefono anziché su server specializzati.

Il buffering significa memorizzare temporaneamente dati, spesso audio o video, per una riproduzione fluida, un concetto diverso dalla riduzione della precisione numerica di un modello. L'indicizzazione significa organizzare i dati, come in un database, in modo che possano essere trovati rapidamente, estraneo alla riduzione della memorizzazione numerica di un modello.

Se fatta con attenzione, la quantizzazione può ridurre drasticamente le dimensioni di un modello incidendo appena sulla sua accuratezza, motivo per cui è diventata una tecnica chiave che consente a un'IA sorprendentemente potente di funzionare su dispositivi di consumo comuni anziché solo in grandi data center.