מערך נתונים (Dataset)

מערך-נתונים יכול להיות טקסטים, תמונות, הקלטות-קול, או כל סוג מידע אחר — בדרך כלל עם "תווית" נכונה מצורפת (למשל: התמונה הזו היא "חתול"), כדי שהמודל ילמד את הקשר בין הקלט לתשובה הנכונה.

מודלי שפה גדולים מאומנים על מערכי-נתונים עצומים — טריליוני מילים שנאספו מהאינטרנט, ספרים ומקורות נוספים. איכות המערך (ולא רק גודלו) קובעת במידה רבה את איכות המודל הסופי.