basics

Isang shortcut para makagawa ng magandang small models: gamitin ang answers ng isang big model bilang teachbook para turuan ang mas maliit na model. Hiniram ng technique na ito ang pangalan mula sa refining ng spirits.

Ano ito?

Q: Ano ito?

Distillation. Ang distillation ay nag-transfer ng abilities ng malaking 'teacher' model sa maliit na 'student.' Ito ang nagpapalakas sa race ng cheap-but-capable models — at nagfuel din sa disputes kung fair game ba ang pagtraining base sa outputs ng ibang kumpanya.

Fermentation
Distillation ✓
Aging

Distillation
Ang distillation ay nag-transfer ng abilities ng malaking 'teacher' model sa maliit na 'student.' Ito ang nagpapalakas sa race ng cheap-but-capable models — at nagfuel din sa disputes kung fair game ba ang pagtraining base sa outputs ng ibang kumpanya.

▶ Quration AIQ

basics

Ano ang isa sa mga main response ng industriya?Ano tawag sa empirical rule na ito — ang justification para sa billion-dollar bets?Ano ang acronym para sa goal na lampas sa task-specific AI — machine intelligence na kagaya ng general intelligence ng tao?Ano tawag sa mga ito?Ano ang umbrella term?Ano tawag sa mga pirasong ito?Kapag sinabi ng mga tao na ang isang AI model ay may '70 billion parameters,' ano talaga ang binibilang nila?Ano tawag sa phenomenon na ito?Ano ang pamagat nito?Ano tawag sa human-feedback training step na ito?Ano tawag sa limitasyong ito?Ginawa ng aling kumpanya ang Llama, ang flagship ng mga 'open-weight' models na ito?

Quration — Quration AIQ