Bu sıkıştırma tekniğinin adı nedir?

Niceleme (quantization), bir yapay zeka modelinin bilgisini oluşturan, parametre adı verilen milyarlarca sayının her birini saklamak için kullanılan hassasiyeti azaltır; örneğin 16 bit hassasiyetle saklanan sayıları sadece 4 veya 8 bite indirir. Her sayı daha az bellek ve hesaplama gerektirdiğinden, model daha küçük ve daha hızlı çalışır hâle gelir; bu da genellikle yetenekli bir modelin özel sunucular yerine dizüstü bilgisayar veya telefon gibi sıradan donanımlara sığdırılmasını mümkün kılar.

Arabelleğe alma (buffering), genellikle ses veya video için sorunsuz oynatma sağlamak amacıyla verinin geçici olarak depolanması anlamına gelir; bir modelin sayısal hassasiyetini azaltmaktan farklı bir kavramdır. İndeksleme ise verileri, örneğin bir veritabanında, hızlıca bulunabilecek şekilde düzenlemek anlamına gelir; bir modelin sayı depolamasını küçültmekle ilgisizdir.

Dikkatli yapıldığında, niceleme bir modelin boyutunu doğruluğunu neredeyse hiç etkilemeden çarpıcı biçimde küçültebilir; bu da onu, şaşırtıcı derecede güçlü yapay zekanın yalnızca büyük veri merkezlerinde değil, sıradan tüketici cihazlarında da çalışmasını sağlayan kilit bir teknik hâline getirmiştir.