סיכון קיומי (Existential Risk)

חלק מהחוקרים חוששים שמערכת AI עוצמתית מספיק, עם מטרות לא-מיושרות היטב עם ערכים אנושיים, עלולה לפעול בדרכים בלתי-צפויות ומזיקות בקנה-מידה גדול — תרחיש היפותטי, לא נצפה עדיין בפועל.

הנושא שנוי-במחלוקת: יש חוקרים בכירים שרואים בו סיכון אמיתי שדורש מחקר-בטיחות רציני כבר עכשיו, ואחרים שרואים בו הסחת-דעת מסיכונים מוחשיים וקרובים יותר (כמו הטיה, אבטלה, דיסאינפורמציה).