היפר-פרמטר (Hyperparameter)

בעוד שהמודל "לומד" בעצמו את הפרמטרים שלו (המשקלים) מתוך הנתונים, היפר-פרמטרים הם החלטות-עיצוב שמישהו — מהנדס אנושי, או תהליך-חיפוש אוטומטי — קובע מראש: כמה עידני-אימון, אצווה בגודל כמה, קצב-למידה כמה מהיר.

בחירת היפר-פרמטרים משפיעה דרמטית על תוצאת האימון — קצב-למידה גבוה מדי עלול לגרום למודל "לקפוץ" מעבר לפתרון הטוב, ונמוך מדי הופך את האימון לאיטי בלתי-נסבל.