basics

As empresas de IA adoram se gabar do tamanho dos modelos usando um único número gigante, como se números maiores garantissem sozinhos uma máquina mais inteligente.

Quando dizem que um modelo de IA tem '70 bilhões de parâmetros', o que exatamente estão contando?

Q: Quando dizem que um modelo de IA tem '70 bilhões de parâmetros', o que exatamente estão contando?

O número de valores ajustáveis (pesos) dentro do modelo. Parâmetros são os pesos internos ajustados durante o treinamento. Em geral, mais parâmetros significa mais capacidade expressiva — embora modelos pequenos bem treinados estejam cada vez mais superando modelos maiores.

O número de documentos nos dados de treinamento
O número de valores ajustáveis (pesos) dentro do modelo ✓
O número de usuários que ele consegue atender ao mesmo tempo

O número de valores ajustáveis (pesos) dentro do modelo
Parâmetros são os pesos internos ajustados durante o treinamento. Em geral, mais parâmetros significa mais capacidade expressiva — embora modelos pequenos bem treinados estejam cada vez mais superando modelos maiores.

Parâmetros se referem ao número de valores ajustáveis, ou pesos, calibrados dentro de um modelo durante o treinamento, e não ao número de documentos com os quais ele aprendeu nem a quantas pessoas ele consegue atender ao mesmo tempo. De modo geral, mais parâmetros significam mais capacidade para o modelo representar padrões complexos, já que simplesmente existem mais valores internos que podem ser ajustados para captar nuances nos dados.

O número de documentos de treinamento descreve o tamanho do conjunto de dados com que um modelo aprendeu, e o número de usuários simultâneos descreve algo sobre infraestrutura de servidores e demanda, ambos conceitos bem diferentes da contagem de pesos ajustáveis embutidos no próprio modelo.

Maior não significa automaticamente melhor, já que modelos menores bem treinados vêm igualando ou superando modelos maiores em muitas tarefas, mostrando que como um modelo é treinado e quais dados ele vê podem importar tanto quanto o número bruto de parâmetros.

▶ Quration AIQ

basics

Como se chama esse fenômeno?Qual era o nome?Como se chama essa etapa de treinamento com feedback humano?Como se chama esse limite?O Llama, o carro-chefe desses modelos 'de peso aberto', foi lançado por qual empresa?Como chamamos os modelos que lidam com múltiplas formas de entrada e saída?O que esses 'modelos de raciocínio' fazem durante essa pausa?Como se chama essa abordagem?Essa técnica toma seu nome do refino de destilados. Qual é?Qual é uma das principais respostas da indústria?Como se chama essa regra empírica — a justificativa para apostas bilionárias?Qual é a sigla do objetivo além da IA específica para tarefas — uma inteligência tão geral quanto a humana?

Quration — Quration AIQ