Quration AIQ

basics

Modele językowe jak ChatGPT nie czytają zdań w całości. Przetwarzają tekst pokrojony na małe fragmenty — a tekst polski (podobnie jak koreański) rozpada się na więcej fragmentów niż angielski, przez co ten sam fragment tekstu jest 'droższy' w przetwarzaniu.

Jak nazywają się te fragmenty?

Tokeny
LLM-y przetwarzają tekst jako tokeny. Języki inne niż angielski zwykle zużywają więcej tokenów na to samo znaczenie, co stawia je w niekorzystnej sytuacji przy cenach API i limitach kontekstu.
▶ Quration AIQ

basics

Kiedy mówi się, że model ma '70 miliardów parametrów', co właściwie się liczy?Jak nazywa się to zjawisko?Jak się nazywała?Jak nazywa się ten etap treningu z ludzką informacją zwrotną?Jak nazywa się ten limit?Llama, flagowy model tego typu, została wydana przez którą firmę?Jak nazywamy modele, które obsługują wiele form danych wejściowych i wyjściowych?Co robią te 'modele rozumujące' podczas tej pauzy?Jak nazywa się to podejście?Jak się nazywa?Jaka jest jedna z głównych odpowiedzi branży?Jak nazywa się ta empiryczna reguła — uzasadnienie miliardowych zakładów?

Quration — Quration AIQ