basics
AI 회사들은 숫자가 클수록 똑똑한 기계라는 듯, 거대한 숫자 하나로 모델 크기를 자랑하곤 합니다.
파라미터란 모델을 훈련시키는 동안 조정되는, 모델 내부의 숫자, 즉 가중치의 개수를 뜻합니다. 모델이 학습한 문서의 수도 아니고, 한 번에 몇 명의 사용자를 감당할 수 있는지도 아니에요. 일반적으로 파라미터가 많을수록 모델이 복잡한 패턴을 표현할 수 있는 능력이 커집니다. 단순히 조정 가능한 내부 값이 더 많아서, 데이터 속 미묘한 뉘앙스를 더 잘 담아낼 수 있기 때문이죠.
훈련 문서의 수는 모델이 학습한 데이터셋의 규모를 나타내는 것이고, 동시 사용자 수는 서버 인프라와 수요에 관한 전혀 다른 개념입니다. 둘 다 모델에 내장된 조정 가능한 가중치 개수와는 완전히 다릅니다.
무조건 크다고 좋은 건 아닙니다. 잘 훈련된 소형 모델들이 여러 과제에서 더 큰 모델과 맞먹거나 오히려 앞서는 경우가 늘어나고 있는데, 이는 모델을 어떻게 훈련시키고 어떤 데이터를 보여주는지가 단순한 파라미터 수만큼이나 중요할 수 있다는 걸 보여줍니다.
basics
이 현상을 부르는 말은?비틀즈 노래 제목을 패러디한 이 논문의 제목은?사람의 피드백을 반영하는 이 후속 훈련을 뭐라고 부를까요?모델이 한 번에 기억하며 처리할 수 있는 텍스트 분량에 한도가 있기 때문인데, 이 한도를 부르는 말은?이런 '오픈 웨이트' 모델의 대표주자 라마(Llama)는 어느 회사가 공개했을까요?이렇게 여러 형태의 입력과 출력을 함께 다루는 모델을 부르는 말은?이전 모델과 달리 답을 내놓기 전에 눈에 띄게 오래 뜸을 들이는데, 이 '추론 모델'이 그 시간에 하는 일은?이런 방식을 부르는 말은?술을 정제하는 과정에서 이름을 딴 이 기법은?업계가 찾은 대응책 중 하나는?수천억 원짜리 베팅의 근거가 된 이 경험 법칙의 이름은?특정 작업만 잘하는 AI를 넘어 인간 수준의 범용 지능을 가리키는 이 목표의 약자는?Quration — Quration AIQ