tech

Googles Forschungspapier 'Attention Is All You Need' aus dem Jahr 2017 stellte die Transformer-Architektur vor, die zur Grundlage sämtlicher moderner KI-Sprachmodelle wurde — von GPT über BERT bis hin zu Claude.

Was für eine Schlüsseltechnologie ließ der Transformer, ganz im Sinne seines Titels, kühn hinter sich?

• Faltungsneuronale Netze (CNN / ConvNets)
• Sprachmodelle auf Basis von Markow-Ketten
• Rekurrente neuronale Netze (RNN / LSTM) ✓

Quration — Quration Play