এই সংকোচন কৌশলকে কী বলা হয়?

কোয়ান্টাইজেশন একটা এআই মডেলের জ্ঞান গঠনকারী শত শত কোটি সংখ্যা—যাদের বলা হয় প্যারামিটার—প্রতিটাকে জমা রাখতে ব্যবহৃত নির্ভুলতা কমিয়ে দেয়, উদাহরণস্বরূপ ১৬ বিট নির্ভুলতায় জমা রাখা সংখ্যাকে মাত্র ৪ বা ৮ বিটে রূপান্তরিত করে। যেহেতু প্রতিটা সংখ্যা তখন কম মেমোরি আর গণনা নেয়, মডেলটা ছোট আর চালাতে দ্রুততর হয়ে যায়, প্রায়ই একটা সক্ষম মডেলকে বিশেষায়িত সার্ভারের বদলে ল্যাপটপ বা ফোনের মতো সাধারণ হার্ডওয়্যারে বসানো সম্ভব করে তোলে।

বাফারিং মানে তথ্য, প্রায়ই অডিও বা ভিডিও, সাময়িকভাবে জমা রাখা মসৃণ প্লেব্যাকের জন্য, একটা মডেলের সাংখ্যিক নির্ভুলতা কমানো থেকে ভিন্ন একটা ধারণা। ইনডেক্সিং মানে তথ্য, যেমন কোনো ডেটাবেসে, এমনভাবে গুছিয়ে রাখা যাতে দ্রুত খুঁজে পাওয়া যায়, একটা মডেলের সংখ্যা জমা রাখার পরিমাণ কমানোর সাথে যার কোনো সম্পর্ক নেই।

যত্নসহকারে করা হলে, কোয়ান্টাইজেশন একটা মডেলের আকার নাটকীয়ভাবে কমিয়ে দিতে পারে, তার নির্ভুলতায় সামান্যই প্রভাব ফেলে, যে কারণে এটা একটা মূল কৌশল হয়ে উঠেছে যা বিস্ময়করভাবে শক্তিশালী এআই-কে কেবল বড় ডেটা সেন্টারে নয়, সাধারণ ভোক্তা ডিভাইসেও চালানো সম্ভব করে তোলে।