Quration AIQ

basics

작은 모델을 잘 만드는 지름길로, 큰 모델이 낸 답을 교재 삼아 작은 모델을 가르치는 기법이 널리 쓰입니다.

술을 정제하는 과정에서 이름을 딴 이 기법은?

증류(distillation)
증류는 큰 '교사 모델'의 능력을 작은 '학생 모델'에 옮기는 기법입니다. 저비용 고성능 모델 경쟁의 핵심 기술이자, '남의 모델 출력으로 학습해도 되는가'라는 분쟁의 소재이기도 합니다.
▶ Quration AIQ

basics

업계가 찾은 대응책 중 하나는?수천억 원짜리 베팅의 근거가 된 이 경험 법칙의 이름은?특정 작업만 잘하는 AI를 넘어 인간 수준의 범용 지능을 가리키는 이 목표의 약자는?수학·코딩·상식 시험 문제집으로 모델들의 점수를 매겨 비교하는 이것은?이런 모델을 통칭하는 말은?이 조각의 이름은?'파라미터 700억 개 모델'처럼 AI 모델의 크기를 말할 때 쓰는 파라미터는 무엇을 가리킬까요?이 현상을 부르는 말은?비틀즈 노래 제목을 패러디한 이 논문의 제목은?사람의 피드백을 반영하는 이 후속 훈련을 뭐라고 부를까요?모델이 한 번에 기억하며 처리할 수 있는 텍스트 분량에 한도가 있기 때문인데, 이 한도를 부르는 말은?이런 '오픈 웨이트' 모델의 대표주자 라마(Llama)는 어느 회사가 공개했을까요?

Quration — Quration AIQ