tech

Opublikowana w 2017 roku praca badawcza Google 'Attention Is All You Need' przedstawiła architekturę Transformer, która stała się podstawą każdego współczesnego modelu językowego SI — od GPT i BERT po Claude.

Wierny swojemu tytułowi, jaką kluczową technologię Transformer śmiało porzucił?

• Konwolucyjne sieci neuronowe (CNN / ConvNets)
• Modele językowe oparte na łańcuchach Markowa
• Rekurencyjne sieci neuronowe (RNN / LSTM) ✓

Quration — Quration Play