이 압축 기법을 무엇이라고 부를까요?

양자화는 AI 모델의 지식을 이루는 수십억 개의 숫자, 즉 매개변수 각각을 저장할 때 쓰는 정밀도를 낮추는 기법으로, 예를 들면 16비트 정밀도로 저장하던 숫자를 단 4비트나 8비트로 줄이는 식입니다. 숫자 하나하나가 차지하는 메모리와 연산량이 줄어들기 때문에 모델은 더 작아지고 더 빠르게 돌아가며, 그 덕분에 전용 서버가 아니라 노트북이나 휴대폰 같은 일반 하드웨어에서도 성능 좋은 모델을 돌릴 수 있게 되는 경우가 많습니다.

버퍼링은 오디오나 영상을 매끄럽게 재생하기 위해 데이터를 일시적으로 저장해두는 것으로, 모델의 수치 정밀도를 줄이는 것과는 다른 개념입니다. 인덱싱은 데이터베이스처럼 데이터를 빠르게 찾을 수 있도록 정리하는 것으로, 모델의 숫자 저장 방식을 줄이는 것과는 관련이 없습니다.

양자화를 신중하게 하면 정확도는 거의 해치지 않으면서 모델 크기를 극적으로 줄일 수 있습니다. 그래서 대형 데이터센터에서만이 아니라 우리가 일상에서 쓰는 기기에서도 놀랍도록 강력한 AI를 돌릴 수 있게 해주는 핵심 기술로 자리 잡았습니다.