الخطر الوجودي من الذكاء الاصطناعي العام هو الفرضية القائلة بأن التقدم الكبير في الذكاء الاصطناعي العام (AGI) يمكن أن يؤدي إلى انقراض الإنسان أو كارثة عالمية أخرى لا رجعة فيها.
تناقش إحدى الحجج التالي: يسيطر الجنس البشري حاليًا على الأنواع الأخرى لأن الدماغ البشري يمتلك قدرات مميزة تفتقر إليها الحيوانات الأخرى. إذا تجاوز الذكاء الاصطناعي البشرية في الذكاء العام وأصبح فائق الذكاء، فقد يصبح من الصعب أو المستحيل التحكم فيه. مثلما يعتمد مصير الغوريلا الجبلية على حسن النية البشرية، كذلك قد يعتمد مصير البشرية على أفعال آلة المستقبل فائقة الذكاء.
تتم مناقشة احتمال وقوع كارثة وجودية بسبب الذكاء الاصطناعي على نطاق واسع، ويتوقف جزئيًا على السيناريوهات المختلفة للتقدم المستقبلي في علوم الكمبيوتر. أعرب كبار علماء الكمبيوتر والرؤساء التنفيذيين التقنيين عن مخاوفهم بشأن الذكاء الخارق مثل جيوفري هينتون، ويوشوا بنجيو، وآلان تورينج، وإيلون ماسك، وسام ألتمان، الرئيس التنفيذي لشركة OpenAI. في عام 2022، وجدت دراسة استقصائية لباحثي الذكاء الاصطناعي الذين نشروا مؤخرًا في المؤتمرات الميدانية NeurIPS وICML أن غالبية المستجيبين يعتقدون أن هناك فرصة بنسبة 10% أو أكبر لأن عدم قدرتنا على التحكم في الذكاء الاصطناعي سيؤدي إلى كارثة وجودية (لاحظ أن نسبة المشاركة في الاستطلاع كانت 17%). في عام 2023، وقع المئات من خبراء الذكاء الاصطناعي وشخصيات بارزة أخرى بيانًا مفاده أن: التخفيف من خطر الانقراض من الذكاء الاصطناعي يجب أن يكون أولوية عالمية إلى جانب المخاطر المجتمعية الأخرى مثل الأوبئة والحرب النووية. وفي نوفمبر 2023 أجتمع قادة سياسيون ومسؤولون في شركات التكنولوجيا العملاقة وخبراء في الذكاء الاصطناعي بالمملكة المتحدة في انطلاق القمة العالمية الأولى حول المخاطر المترتبة عن التطور المتسارع لهذه التقنية الثورية.
ينبع مصدران للقلق من مشاكل التحكم في الذكاء الاصطناعي والمواءمة: قد يكون من الصعب التحكم في آلة فائقة الذكاء أو غرسها بقيم متوافقة مع الإنسان. يعتقد العديد من الباحثين أن الآلة فائقة الذكاء ستقاوم محاولات تعطيلها أو تغيير أهدافها، لأن مثل هذا الحادث سيمنعها من تحقيق أهدافها الحالية. سيكون من الصعب للغاية مواءمة الذكاء الفائق مع النطاق الكامل للقيم والقيود الإنسانية المهمة. في المقابل، يجادل المشككون مثل عالم الكمبيوتر يان ليكون بأن الآلات فائقة الذكاء لن تكون لديها رغبة في الحفاظ على نفسها.
مصدر ثالث للقلق هو أن انفجار مفاجئ للذكاء قد يفاجئ الجنس البشري غير المستعد. للتوضيح، إذا كان الجيل الأول من برنامج كمبيوتر قادرًا على مطابقة فعالية باحث الذكاء الاصطناعي على نطاق واسع يمكنه إعادة كتابة خوارزمياته ومضاعفة سرعته أو قدراته في ستة أشهر، فمن المتوقع أن يستغرق برنامج الجيل الثاني ثلاثة أشهر تقويمية لأداء قدر مماثل من العمل. في هذا السيناريو، يستمر الوقت لكل جيل في الانكماش، ويخضع النظام لعدد كبير غير مسبوق من الأجيال من التحسين في فترة زمنية قصيرة، قفزًا من الأداء دون البشر في العديد من المجالات إلى الأداء الخارق في جميع مجالات الاهتمام تقريبًا. من الناحية التجريبية، تُظهر أمثلة مثل ألفازيرو في مجال Go أن أنظمة الذكاء الاصطناعي يمكن أن تتطور أحيانًا من قدرة ضيقة على المستوى البشري لتضييق القدرة الخارقة بسرعة شديدة.