"תשומת לב היא כל שצריך" (Attention Is All You Need)

צוות חוקרים בגוגל הראה שאפשר לוותר לגמרי על רשתות נשניות ולהסתמך רק על מנגנון-קשב — רעיון שנשמע נועז בזמנו, אך התברר כמהיר, יעיל וניתן-להרחבה בהרבה משיטות קודמות.

כל מודלי השפה הגדולים המרכזיים כיום — GPT, Claude, Gemini ואחרים — בנויים על הארכיטקטורה שהוצגה במאמר הזה. מעטים מאוד מאמרי-מחקר בהיסטוריה השפיעו כל-כך ישירות ומהר על תעשייה שלמה.