basics

Ang mga language model gaya ng ChatGPT ay hindi basta binabasa ang buong sentence. Pinuputol-putol muna nila ang text sa maliliit na piraso — at mas madami ang piraso ng Korean text kumpara sa English para sa parehong ibig sabihin, kaya 'mas mahal' itong iproseso.

Ano tawag sa mga pirasong ito?

Q: Ano tawag sa mga pirasong ito?

Tokens. Ginagawang tokens ng LLM ang text bago ito iproseso. Mas madami ang token na ginagamit ng Korean kumpara sa English para sa parehong meaning, kaya nasa disadvantage ito sa API pricing at context limits.

Tokens ✓
Pixels
Packets

Tokens
Ginagawang tokens ng LLM ang text bago ito iproseso. Mas madami ang token na ginagamit ng Korean kumpara sa English para sa parehong meaning, kaya nasa disadvantage ito sa API pricing at context limits.

▶ Quration AIQ

basics

Kapag sinabi ng mga tao na ang isang AI model ay may '70 billion parameters,' ano talaga ang binibilang nila?Ano tawag sa phenomenon na ito?Ano ang pamagat nito?Ano tawag sa human-feedback training step na ito?Ano tawag sa limitasyong ito?Ginawa ng aling kumpanya ang Llama, ang flagship ng mga 'open-weight' models na ito?Ano tawag sa mga model na kaya humawak ng iba't ibang forms ng input at output?Ano ba talaga ang ginagawa ng mga 'reasoning models' na ito sa pause?Ano tawag sa approach na ito?Ano ito?Ano ang isa sa mga main response ng industriya?Ano tawag sa empirical rule na ito — ang justification para sa billion-dollar bets?

Quration — Quration AIQ