tech

2017年に発表されたGoogleの論文『Attention Is All You Need』は、GPTやBERT、Claudeに至るまで現代のあらゆるAI言語モデルの土台となったTransformerアーキテクチャを世に送り出しました。

そのタイトルどおり、Transformerが大胆に手放した重要技術は何でしょう?

• 畳み込みニューラルネットワーク（CNN / ConvNets）
• マルコフ連鎖の言語モデル
• 再帰型ニューラルネットワーク（RNN / LSTM） ✓

Quration — Quration Play