דגימת Top-k/Top-p

Top-k מגביל את הבחירה ל-k המילים הכי-סבירות (למשל 40) ומתעלם מהשאר. Top-p (המכונה גם "דגימת גרעין") לוקח את קבוצת המילים הקטנה ביותר שהסתברותן המצטברת חוצה סף מסוים (למשל 90%) — גמיש יותר מ-k קבוע.

שתי השיטות נועדו למנוע מהמודל לבחור מילים נדירות-מדי ולא-קוהרנטיות, תוך שמירה על מגוון סביר — ולעיתים קרובות משולבות יחד עם טמפרטורה כדי לכוונן במדויק את "אישיות" הפלט.