basics

Elke nieuwe modellancering gaat gepaard met iets als een rapportcijfer: gestandaardiseerde opgavensets in wiskunde, code en kennis gebruikt om modellen te scoren en vergelijken.

Hoe heten deze?

Q: Hoe heten deze?

Benchmarks. Benchmarks zijn standaard testsets voor het vergelijken van modellen. Terugkerende controverses: testvragen die in trainingsdata lekken ('contaminatie') en het gat tussen scores en hoe een model in de praktijk aanvoelt.

Benchmarks ✓
Bookmarks
Watermarks

Benchmarks
Benchmarks zijn standaard testsets voor het vergelijken van modellen. Terugkerende controverses: testvragen die in trainingsdata lekken ('contaminatie') en het gat tussen scores en hoe een model in de praktijk aanvoelt.

▶ Quration AIQ

basics

Wat is de overkoepelende term?Hoe heten deze stukjes?Als mensen een AI-model beschrijven als hebbende '70 miljard parameters', wat tellen ze dan precies?Hoe heet dit verschijnsel?Hoe heette het?Hoe heet deze trainingsstap met menselijke feedback?Hoe heet deze limiet?Llama, het vlaggenschip van zulke 'open-weight'-modellen, werd uitgebracht door welk bedrijf?Hoe noemen we modellen die meerdere vormen van invoer en uitvoer aankunnen?Wat doen deze 'redeneermodellen' tijdens die pauze?Hoe heet deze aanpak?Wat is het?

Quration — Quration AIQ