פונקציית איבוד (Loss Function)

אחרי שהמודל מנבא תשובה, פונקציית-האיבוד משווה אותה לתשובה האמיתית ומחזירה מספר יחיד: ככל שהתחזית רחוקה יותר, המספר גבוה יותר. תשובה מושלמת תיתן איבוד אפס.

כל תהליך האימון — backpropagation וירידת-גרדיאנט — קיים בשביל מטרה אחת: להקטין את ערך פונקציית-האיבוד בהדרגה, עד שהמודל מייצר תחזיות קרובות ככל האפשר למציאות על נתוני-האימון.