Apa nama teknik kompresi ini?

Kuantisasi mengurangi presisi yang digunakan untuk menyimpan setiap dari miliaran angka, disebut parameter, yang membentuk pengetahuan sebuah model AI, misalnya mengubah angka yang disimpan dengan presisi 16 bit menjadi hanya 4 atau 8 bit. Karena setiap angka kemudian membutuhkan lebih sedikit memori dan komputasi, model menjadi lebih kecil dan lebih cepat dijalankan, sering kali memungkinkan model yang mumpuni muat di perangkat keras biasa seperti laptop atau ponsel, bukan hanya server khusus.

Buffering berarti menyimpan data sementara, sering audio atau video, untuk pemutaran yang lancar, konsep berbeda dari mengurangi presisi numerik model. Indexing berarti mengorganisasi data, seperti dalam basis data, sehingga bisa ditemukan dengan cepat, tidak berkaitan dengan mengecilkan penyimpanan angka model.

Jika dilakukan dengan cermat, kuantisasi bisa mengecilkan ukuran model secara drastis sambil hampir tidak memengaruhi akurasinya, itulah sebabnya ini menjadi teknik kunci yang memungkinkan AI yang mengejutkan kuatnya berjalan di perangkat konsumen sehari-hari, bukan hanya di pusat data besar.