Als mensen een AI-model beschrijven als hebbende '70 miljard parameters', wat tellen ze dan precies?

Parameters verwijzen naar het aantal aanpasbare getallen, ook wel gewichten genoemd, die tijdens de training van een model worden afgesteld, niet naar het aantal documenten waarvan het geleerd heeft of het aantal mensen dat het tegelijk kan bedienen. Over het algemeen betekenen meer parameters meer capaciteit voor een model om complexe patronen weer te geven, omdat er eenvoudigweg meer interne waarden zijn die kunnen worden aangepast om nuances in de data vast te leggen.

Het aantal trainingsdocumenten beschrijft de omvang van de dataset waarvan een model heeft geleerd, en het aantal gelijktijdige gebruikers zegt iets over serverinfrastructuur en vraag, allebei heel andere concepten dan het aantal aanpasbare gewichten dat in het model zelf is ingebakken.

Groter is niet automatisch beter, want goed getrainde kleinere modellen hebben grotere modellen op steeds meer taken geëvenaard of verslagen, wat laat zien dat hoe een model getraind wordt en welke data het te zien krijgt net zo belangrijk kunnen zijn als het pure aantal parameters.