התפשטות לאחור (Backpropagation)

אחרי שהמודל מפיק תחזית ומודד את הטעות שלה, backpropagation "מפיץ" את הטעות הזו אחורה דרך הרשת, שכבה אחר שכבה, ומחשב בדיוק כמה כל פרמטר בודד תרם לטעות הכוללת.

השילוב של backpropagation (חישוב האשמה) וירידת-גרדיאנט (תיקון לפי האשמה) הוא הלב הפועם של כל אימון רשת-נוירונים מודרנית — כולל אימון מודלי השפה הגדולים ביותר.