tech
Les trois lettres qui terminent le nom de ChatGPT révèlent son fonctionnement : il a d'abord étudié d'énormes quantités de texte, puis construit ses réponses sur un type particulier de réseau de neurones.
GPT signifie Generative Pre-trained Transformer (transformeur génératif pré-entraîné) : « génératif » signifie qu'il produit du texte nouveau plutôt que de simplement classer du texte existant, « pré-entraîné » signifie qu'il a d'abord appris des schémas linguistiques généraux à partir d'une masse considérable de données avant un affinage ultérieur, et « Transformer » désigne l'architecture de réseau de neurones, construite autour d'un mécanisme d'attention, qui a rendu possible la modélisation du langage à grande échelle.
« General Purpose Technology » et « Global Personal Tool » correspondent aux lettres G, P et T, mais aucune ne reflète le véritable sens de l'acronyme, qui renvoie à la nature générative du modèle, à sa méthode d'entraînement et à son architecture.
L'architecture Transformer sur laquelle repose GPT a été introduite quelques années seulement avant la sortie de ChatGPT, et est depuis devenue le fondement de la grande majorité des principaux modèles de langage, pas seulement ceux d'OpenAI.
tech
Qu'est-ce qui rend un « agent IA » fondamentalement différent d'un tel chatbot ?Qu'est-ce que l'« apprentissage automatique » (machine learning) ?Que signifie qu'un logiciel soit « open source » ?Qu'est-ce qu'une « blockchain », en termes simples ?Qu'est-ce que « le cloud » dans l'informatique en nuage ?Un « réseau de neurones » en IA s'inspire vaguement de quoi ?Que représente un « NFT » ?En informatique, qu'est-ce qu'une « API » ?Que mesure le « test de Turing » ?Qu'est-ce que la « vision par ordinateur » ?Qu'est-ce que le « prompt engineering » ?Que signifie « LLM » en IA ?Quration — Quration Play