רשת נשנית (RNN)

בניגוד לרשת רגילה שמעבדת כל קלט בנפרד, RNN מזינה בחזרה לעצמה מידע מהצעד הקודם — כך היא "זוכרת" הקשר תוך כדי קריאת משפט, מילה אחר מילה.

RNN שלטו בעיבוד שפה עד אמצע שנות ה-2010, אך התקשו "לזכור" הקשר ארוך וסבלו מאימון איטי. הטרנספורמר, שמעבד את כל הרצף בבת אחת, פתר את שתי הבעיות והחליף אותם ברוב היישומים המודרניים.