זמן תגובה (Latency)

זמן תגובה (Latency) הוא הזמן שעובר בין שליחת בקשה למודל AI לבין קבלת תחילת התשובה — מדד קריטי במיוחד בכל יישום שדורש אינטראקציה בזמן-אמת.

בצ'אט טקסטואלי רגיל, זמן תגובה של שנייה או שתיים כמעט ולא מורגש. אבל בשיחה קולית חיה עם AI, אפילו השהיה קצרה מורגשת מיד כ"לא טבעית" — שיחה אנושית אמיתית כמעט ולא כוללת השהיות ארוכות בין דוברים, ולכן זמן תגובה נמוך הוא דרישה קריטית.

גורמים שמשפיעים על זמן תגובה כוללים גודל המודל, מרחק גיאוגרפי מהשרת, ועומס נוכחי על השירות — סיבה מרכזית לכך שספקי AI ממקמים שרתים במיקומים גיאוגרפיים מפוזרים.