basics
Durante años, una creencia simple gobernó la industria de la IA: 'Si escalas el modelo, los datos y el cómputo, el rendimiento mejora de forma predecible.'
Las leyes de escalado son el patrón empírico detrás de esta creencia: relaciones observadas que muestran que, hasta cierto punto, aumentar el tamaño de un modelo, sus datos de entrenamiento y el poder de cómputo invertido en él tiende a producir mejoras de rendimiento bastante predecibles, lo que les dio a los inversores una justificación para comprometer sumas enormes en entrenamientos cada vez más grandes.
La ley de Moore describe la tendencia histórica de que los chips informáticos aproximadamente duplican su densidad de transistores con el tiempo, y la ley de Murphy es un dicho irónico de que todo lo que pueda salir mal saldrá mal; ninguna de las dos describe la relación entre datos, cómputo y rendimiento que justificó las mayores apuestas de la IA.
Más recientemente, la atención ha girado hacia el 'escalado en el momento de la inferencia', el descubrimiento de que dejar que un modelo piense más tiempo en el momento de responder, en lugar de solo hacer el modelo más grande durante el entrenamiento, también puede mejorar de forma fiable el rendimiento, lo que ha desatado un debate sobre si el escalado tradicional de preentrenamiento está topando con rendimientos decrecientes.
basics
¿Cuál es la sigla del objetivo más allá de la IA específica para tareas — una inteligencia artificial tan general como la humana?¿Cómo se llaman?¿Cuál es el término general?¿Cómo se llaman estos fragmentos?¿qué se está contando exactamente?¿Cómo se llama este fenómeno?¿Cómo se llamaba?¿Cómo se llama este paso de entrenamiento con retroalimentación humana?¿Cómo se llama este límite?¿qué empresa lo lanzó?¿Cómo llamamos a los modelos que manejan múltiples formas de entrada y salida?¿Qué están haciendo estos 'modelos de razonamiento' durante esa pausa?Quration — Quration AIQ