Ano ang tawag sa teknik na ito ng compression?

Binabawasan ng quantization ang precision na ginagamit sa pag-iimbak sa bawat isa sa bilyun-bilyong numero, na tinatawag na parameter, na bumubuo sa kaalaman ng isang AI model, halimbawa ay ginagawang 4 o 8 bit lamang ang mga numerong dating naka-imbak sa 16 bit na precision. Dahil nagiging mas maliit ang bawat numero sa memory at computation, nagiging mas maliit at mas mabilis ang modelong patakbuhin, madalas na nagiging posible na iangkop ang isang mahusay na modelo sa ordinaryong hardware tulad ng laptop o telepono sa halip na sa espesyalisadong server.

Ang buffering ay nangangahulugang pansamantalang pag-iimbak ng datos, kadalasan ay audio o video, para sa maayos na playback, isang ibang konsepto mula sa pagbawas sa numerikal na precision ng isang modelo. Ang indexing ay nangangahulugang pag-aayos ng datos, tulad ng sa database, upang mahanap ito nang mabilis, walang kaugnayan sa pagbawas ng pag-iimbak ng numero ng isang modelo.

Kung ginawa nang maingat, maaaring bawasan nang husto ng quantization ang laki ng isang modelo habang halos hindi naaapektuhan ang katumpakan nito, kaya naging pangunahing teknik ito na nagpapahintulot sa kahanga-hangang AI na tumakbo sa pang-araw-araw na aparato ng consumer sa halip na sa malalaking data center lamang.