Quration AIQ

basics

Los modelos de lenguaje como ChatGPT no leen las frases de un solo golpe: procesan el texto cortado en pequeños fragmentos, y el coreano se fragmenta en más piezas que el inglés, lo que hace que el mismo texto sea 'más caro' de procesar.

¿Cómo se llaman estos fragmentos?

Tokens
Los LLM procesan el texto como tokens. El coreano suele necesitar más tokens que el inglés para expresar el mismo significado, lo que lo pone en desventaja en el precio de las API y en los límites de contexto.
▶ Quration AIQ

basics

¿qué se está contando exactamente?¿Cómo se llama este fenómeno?¿Cómo se llamaba?¿Cómo se llama este paso de entrenamiento con retroalimentación humana?¿Cómo se llama este límite?¿qué empresa lo lanzó?¿Cómo llamamos a los modelos que manejan múltiples formas de entrada y salida?¿Qué están haciendo estos 'modelos de razonamiento' durante esa pausa?¿Cómo se llama este enfoque?¿Cuál es?¿Cuál es una de las principales respuestas de la industria?¿Cómo se llama esta regla empírica — la justificación de apuestas multimillonarias?

Quration — Quration AIQ