קשב-עצמי (Self-Attention)

בקשב-עצמי, המקור והיעד של הקשב הם אותו רצף בדיוק — המודל בוחן איך כל מילה במשפט קשורה לכל שאר המילים באותו משפט, כדי להבין תפקיד ומשמעות מדויקים יותר.

זו הטכניקה הליבתית בתוך שכבת הטרנספורמר: היא מאפשרת למילה כמו "היא" להתחבר אוטומטית לשם שהיא מתייחסת אליו, גם אם הוא הופיע כמה משפטים קודם.