tech

Google 在 2017 年發表的研究論文〈Attention Is All You Need〉提出了 Transformer 架構，成為從 GPT、BERT 到 Claude 等所有現代 AI 語言模型的基礎。

正如論文標題所言，Transformer 大膽捨棄了哪項關鍵技術?

• 卷積神經網路（CNN / ConvNets）
• 馬可夫鏈語言模型
• 遞迴神經網路（RNN / LSTM） ✓

Quration — Quration Play