Quration AIQ

basics

像 ChatGPT 這樣的語言模型，並不是整句整句地讀文字，而是把文字切成一小塊一小塊來處理——中文（韓文也一樣）切出來的碎片比英文更多，同樣的內容因此「處理起來更貴」。

這些小碎片叫什麼？

代符（Token）
LLM 是以 token（代符）為單位處理文字。中文、韓文等語言在表達相同意思時往往需要更多 token，這在 API 計價和上下文長度上都是劣勢。
▶ Quration AIQ

basics

當人們說某個 AI 模型有「700 億參數」時，他們數的到底是什麼？這種現象叫什麼？這篇論文叫什麼？這個利用人類回饋進行訓練的步驟叫什麼？這個上限叫什麼？「開放權重」模型的旗艦代表 Llama，是由哪家公司發布的？我們把這種能同時處理多種輸入與輸出形式的模型叫什麼？這些「推理模型」在停頓期間，到底在做什麼？這種做法叫什麼？它是什麼？業界主要的應對方式是什麼？這條為千億級投資背書的經驗法則叫什麼？

Quration — Quration AIQ