BPE (קידוד-זוגות-בתים)

האלגוריתם מתחיל מתווים בודדים, וממזג שוב ושוב את הזוג הנפוץ ביותר שמופיע יחד בטקסט-האימון (למשל "t"+"h" הופכים ל-"th"), עד שנוצר מילון בגודל קבוע-מראש שמכיל גם תווים בודדים, גם חלקי-מילים נפוצים, וגם מילים שלמות נפוצות.

היתרון: מילים נפוצות (כמו "the") הופכות לטוקן יחיד, בעוד מילים נדירות מתפרקות לכמה טוקנים קטנים יותר — כך המודל יכול לייצג כל מילה אפשרית, גם כזו שלא ראה מעולם, בלי מילון אינסופי.