Quration AIQ

basics

Modelos de linguagem como o ChatGPT não leem frases de uma vez só: eles processam o texto dividido em pequenos pedaços, e o coreano se fragmenta em mais pedaços do que o inglês, tornando o mesmo texto 'mais caro' de processar.

Como esses pedaços são chamados?

Tokens
LLMs processam texto como tokens. O coreano costuma usar mais tokens que o inglês para o mesmo significado, o que é uma desvantagem no preço das APIs e nos limites de contexto.
▶ Quration AIQ

basics

Quando dizem que um modelo de IA tem '70 bilhões de parâmetros', o que exatamente estão contando?Como se chama esse fenômeno?Qual era o nome?Como se chama essa etapa de treinamento com feedback humano?Como se chama esse limite?O Llama, o carro-chefe desses modelos 'de peso aberto', foi lançado por qual empresa?Como chamamos os modelos que lidam com múltiplas formas de entrada e saída?O que esses 'modelos de raciocínio' fazem durante essa pausa?Como se chama essa abordagem?Essa técnica toma seu nome do refino de destilados. Qual é?Qual é uma das principais respostas da indústria?Como se chama essa regra empírica — a justificativa para apostas bilionárias?

Quration — Quration AIQ