Quration AIQ

basics

Les modèles de langage comme ChatGPT ne lisent pas les phrases d'un bloc : ils découpent le texte en petits fragments — et le coréen se découpe en davantage de fragments que l'anglais, ce qui rend le même texte « plus cher » à traiter.

Comment appelle-t-on ces fragments ?

Tokens
Les LLM traitent le texte sous forme de tokens. Le coréen utilise généralement plus de tokens que l'anglais pour exprimer la même chose, ce qui le désavantage dans la tarification des API et les limites de contexte.
▶ Quration AIQ

basics

Quand on dit qu'un modèle d'IA a « 70 milliards de paramètres », que compte-t-on exactement ?Comment appelle-t-on ce phénomène ?Comment s'appelait-il ?Comment appelle-t-on cette étape d'entraînement par retour humain ?Comment appelle-t-on cette limite ?Llama, le fer de lance des modèles « à poids ouverts » que n'importe qui peut télécharger et faire tourner sur ses propres serveurs, a été lancé par quelle entreprise ?Comment appelle-t-on les modèles capables de gérer plusieurs formes d'entrée et de sortie ?Que font ces « modèles de raisonnement » pendant cette pause ?Comment appelle-t-on cette approche ?Laquelle ?Quelle est l'une des principales réponses de l'industrie ?Pendant des années, une croyance simple a gouverné l'industrie de l'IA : « Augmentez le modèle, les données et le calcul, et la performance s'améliore de façon prévisible. » Comment appelle-t-on cette règle empirique — la justification des paris à plusieurs milliards ?

Quration — Quration AIQ