దాని శీర్షికకు తగినట్టే, Transformer ఏ కీలక సాంకేతికతను ధైర్యంగా వదిలివేసింది?

Q: దాని శీర్షికకు తగినట్టే, Transformer ఏ కీలక సాంకేతికతను ధైర్యంగా వదిలివేసింది?

రికరెంట్ న్యూరల్ నెట్వర్క్లు (RNN / LSTM). RNN లు పాఠాన్ని వరుసగా ఒక్కో పదంగా ప్రాసెస్ చేసేవి — సహజంగానే నెమ్మదిగా, సమాంతరీకరించడం అసాధ్యం. అటెన్షన్ యంత్రాంగం అన్ని టోకెన్లను ఒకేసారి ప్రాసెస్ చేస్తుంది, దీనివల్ల వందల బిలియన్ల పారామితులున్న నమూనాలను శిక్షణ ఇవ్వడం సాధ్యమవుతుంది.

Question

Accepted Answer

రికరెంట్ న్యూరల్ నెట్‌వర్క్‌లు (RNN / LSTM). RNN లు పాఠాన్ని వరుసగా ఒక్కో పదంగా ప్రాసెస్ చేసేవి — సహజంగానే నెమ్మదిగా, సమాంతరీకరించడం అసాధ్యం. అటెన్షన్ యంత్రాంగం అన్ని టోకెన్‌లను ఒకేసారి ప్రాసెస్ చేస్తుంది, దీనివల్ల వందల బిలియన్ల పారామితులున్న నమూనాలను శిక్షణ ఇవ్వడం సాధ్యమవుతుంది.