basics
Por anos, uma crença simples justificou os maiores investimentos da IA: 'Escale o modelo, os dados e a computação, e o desempenho melhora de forma previsível.'
As leis de escala (scaling laws) são o padrão empírico por trás dessa crença — relações observadas mostrando que, até certo ponto, aumentar o tamanho de um modelo, seus dados de treinamento e o poder computacional empregado tende a produzir melhorias de desempenho bastante previsíveis, o que deu aos investidores uma justificativa para comprometer somas enormes em treinamentos cada vez maiores.
A Lei de Moore descreve a tendência histórica de os chips de computador dobrarem aproximadamente sua densidade de transistores ao longo do tempo, e a Lei de Murphy é um dito irônico de que tudo o que pode dar errado vai dar errado — nenhuma das duas descreve a relação entre dados-e-computação e desempenho que justificou os maiores investimentos em IA.
Mais recentemente, a atenção se voltou para o 'escalonamento no momento da inferência' — a descoberta de que deixar um modelo pensar por mais tempo no momento de responder, em vez de apenas aumentar o modelo durante o treinamento, também pode elevar de forma confiável o desempenho — gerando debate sobre se o escalonamento tradicional de pré-treinamento está enfrentando retornos decrescentes.
basics
Qual é a sigla do objetivo além da IA específica para tarefas — uma inteligência tão geral quanto a humana?Como se chamam?Qual é o termo abrangente?Como esses pedaços são chamados?Quando dizem que um modelo de IA tem '70 bilhões de parâmetros', o que exatamente estão contando?Como se chama esse fenômeno?Qual era o nome?Como se chama essa etapa de treinamento com feedback humano?Como se chama esse limite?O Llama, o carro-chefe desses modelos 'de peso aberto', foi lançado por qual empresa?Como chamamos os modelos que lidam com múltiplas formas de entrada e saída?O que esses 'modelos de raciocínio' fazem durante essa pausa?Quration — Quration AIQ