अपने शीर्षक के अनुरूप, Transformer ने किस प्रमुख तकनीक को साहसपूर्वक छोड़ दिया?

Question

Accepted Answer

रिकरंट न्यूरल नेटवर्क (RNN / LSTM). RNN पाठ को क्रम में एक-एक शब्द करके संसाधित करते थे — स्वभाव से धीमे और समानांतर चलाना असंभव। अटेंशन तंत्र सभी टोकन को एक साथ संसाधित करता है, जिससे सैकड़ों अरब पैरामीटर वाले मॉडल को प्रशिक्षित करना संभव हो जाता है।