tech
ChatGPT 名稱結尾的三個字母透露了它的運作方式：先從海量文字中學習，再在一種特殊的神經網路上組織出答案。
GPT代表「生成式預訓練變換器」(Generative Pre-trained Transformer):「生成式」意味著它能產生新的文字,而不只是對既有文字進行分類;「預訓練」意味著它先從海量資料中學習一般的語言模式,之後才進行微調;「Transformer」則指的是那套以注意力機制為核心、讓大規模語言建模得以實現的神經網路架構。
「通用技術」和「全球個人工具」這兩種說法雖然字母上也對得上G、P、T,但都無法反映這個縮寫背後真正的意涵——它指向的是模型的生成本質、訓練方法與架構。
支撐GPT的Transformer架構,其實在ChatGPT問世前幾年才被提出,此後已成為絕大多數主流語言模型的基礎架構,而不僅限於OpenAI一家。
tech
是什麼讓「AI 代理」與這類聊天機器人有著本質上的不同?什麼是「機器學習」?軟體是「開放原始碼」(open source) 是什麼意思？簡單來說，「區塊鏈」是什麼？雲端運算中的「雲端」是什麼？AI 中的「神經網路」是大致仿照什麼而設計的?「NFT」代表什麼？在軟體中，「API」是什麼？「圖靈測試」測量的是什麼？什麼是「電腦視覺」？什麼是「提示工程」？在AI中,「LLM」代表什麼?Quration — Quration Play