basics
지난 몇 년간 AI 업계를 지배한 믿음은 단순했습니다. "모델, 데이터, 컴퓨팅을 키우면 성능은 예측 가능하게 좋아진다."
스케일링 법칙은 이런 믿음 뒤에 있는 경험적 패턴입니다. 어느 지점까지는 모델의 크기, 학습 데이터, 투입되는 컴퓨팅 파워를 늘리면 상당히 예측 가능한 성능 향상으로 이어진다는 관찰 결과로, 투자자들에게 점점 더 큰 학습에 막대한 자금을 투입할 근거를 제공했습니다.
무어의 법칙은 컴퓨터 칩의 트랜지스터 밀도가 시간이 지나면서 대략 두 배씩 늘어난다는 역사적 추세를 설명하고, 머피의 법칙은 잘못될 수 있는 것은 결국 잘못된다는 우스갯소리입니다. 둘 다 AI의 최대 투자를 정당화한 데이터·연산 대 성능 관계를 설명하지 않습니다.
최근에는 '추론 시점 스케일링(inference-time scaling)'으로 관심이 옮겨가고 있습니다. 학습 단계에서 모델을 더 크게 만드는 대신, 답변하는 순간에 모델이 더 오래 생각하게 하는 것만으로도 성능을 안정적으로 끌어올릴 수 있다는 발견이죠. 이는 전통적인 사전학습 스케일링이 수확 체감에 부딪히고 있는 게 아니냐는 논쟁을 촉발했습니다.
basics
특정 작업만 잘하는 AI를 넘어 인간 수준의 범용 지능을 가리키는 이 목표의 약자는?수학·코딩·상식 시험 문제집으로 모델들의 점수를 매겨 비교하는 이것은?이런 모델을 통칭하는 말은?이 조각의 이름은?'파라미터 700억 개 모델'처럼 AI 모델의 크기를 말할 때 쓰는 파라미터는 무엇을 가리킬까요?이 현상을 부르는 말은?비틀즈 노래 제목을 패러디한 이 논문의 제목은?사람의 피드백을 반영하는 이 후속 훈련을 뭐라고 부를까요?모델이 한 번에 기억하며 처리할 수 있는 텍스트 분량에 한도가 있기 때문인데, 이 한도를 부르는 말은?이런 '오픈 웨이트' 모델의 대표주자 라마(Llama)는 어느 회사가 공개했을까요?이렇게 여러 형태의 입력과 출력을 함께 다루는 모델을 부르는 말은?이전 모델과 달리 답을 내놓기 전에 눈에 띄게 오래 뜸을 들이는데, 이 '추론 모델'이 그 시간에 하는 일은?Quration — Quration AIQ