ఈ కుదింపు పద్ధతిని ఏమంటారు?

క్వాంటైజేషన్ ఒక AI మోడల్ యొక్క జ్ఞానాన్ని రూపొందించే బిలియన్ల కొద్దీ సంఖ్యలలో, పారామితులు అని పిలిచేవాటిలో ప్రతి దాన్ని నిల్వ చేయడానికి వాడే ఖచ్చితత్వాన్ని తగ్గిస్తుంది, ఉదాహరణకు 16 బిట్ల ఖచ్చితత్వంతో నిల్వ చేయబడిన సంఖ్యలను కేవలం 4 లేదా 8 బిట్లకు మార్చడం. ప్రతి సంఖ్య అప్పుడు తక్కువ మెమరీని, గణనను తీసుకుంటుంది కాబట్టి, మోడల్ చిన్నదిగా, నడపడానికి వేగవంతంగా మారుతుంది, తరచుగా ప్రత్యేకమైన సర్వర్లకు బదులుగా ల్యాప్‌టాప్ లేదా ఫోన్ వంటి సాధారణ హార్డ్‌వేర్‌పై సమర్థవంతమైన మోడల్‌ను ఇమిడ్చడం సాధ్యం చేస్తుంది.

బఫరింగ్ అంటే మృదువైన ప్లేబ్యాక్ కోసం, తరచుగా ఆడియో లేదా వీడియో, తాత్కాలికంగా డేటాను నిల్వ చేయడం, మోడల్ యొక్క సంఖ్యా ఖచ్చితత్వాన్ని తగ్గించడం నుంచి వేరే భావన. ఇండెక్సింగ్ అంటే డేటాబేస్‌లో వలె త్వరగా కనుగొనగలిగేలా డేటాను క్రమబద్ధీకరించడం, మోడల్ యొక్క సంఖ్య నిల్వను తగ్గించడంతో దీనికి సంబంధం లేదు.

జాగ్రత్తగా చేసినప్పుడు, క్వాంటైజేషన్ మోడల్ యొక్క ఖచ్చితత్వాన్ని అంతగా ప్రభావితం చేయకుండా దాని పరిమాణాన్ని నాటకీయంగా తగ్గించగలదు, పెద్ద డేటా సెంటర్లలో మాత్రమే కాకుండా రోజువారీ వినియోగదారు పరికరాలలో ఆశ్చర్యకరంగా శక్తివంతమైన AI నడపడానికి వీలు కల్పించే ఒక కీలక పద్ధతిగా ఇది మారడానికి ఇదే కారణం.