جیکوب کاگسون، پژوهشگر برجستهٔ هوش مصنوعی، هنگام ترک آنتروپیک، گامی بسیار مبهم برداشت؛ برخلاف بسیاری از همکارانش که پس از ترک، استارتآپهای نوینی راهاندازی میکنند یا از مدلهای تجاری تبلیغاتی انتقاد میکنند، او استعفا خود را بهعنوان فرصتی برای صدور یک هشدار عمومی دربارهٔ ریسکهای موجودی ناشی از ساختارهای پیشرو در هوش مصنوعی برشمرد. کاگسون در یک پست در شبکههای اجتماعی مدعی شد که شرکتهای بزرگ هوش مصنوعی، عملاً با ساختن سیستمهایی که «باورهای اصیل» دارند و میتوانند عامل کشتار تمام انسانها تا پایان این دهه باشند، با جان میلیاردها نفر قمار میکنند.
بر اساس گفتههای او، این خطر نهتنها به مدلهای موجود، بلکه بیشتر به آگاهی از ظهور نزدیک «ابرخوشهوشی خودبهبهساز» برمیگردد. این سیستمهای ابرخوشهوش، توانایی کرک کردن هرگونه سیستم، تبدیل تقریباً هر حوزهای را در یکشبه و دسترسی به قدرت و منابع واقعی خواهند داشت. کاگسون معتقد است که دیگران یا این مدلها را بدون درک اهمیت موجودی این مسئله توسعه میدهند، یا اینگونه باور دارند که برای جلوگیری از رسیدن منتقدان یا بازیگران غیرمسئول به آن، باید پیشرفت به سوی ابرخوشهوشی شتاب بخورد.
این انتقادات محدود به یک فرد نیست؛ یِوان هابینگر، رئیس بخش علم تنظیمپذیری در آنتروپیک، این دیدگاه را در شبکههای اجتماعی تأیید کرد. هابینگر نوشت: «جیکوب در اینجا درست میگوید — ما واقعاً باور داریم که هوش مصنوعی میتواند تمام بشریت را از بین ببرد! من شخصاً احتمال وقوع این فاجعه در دههای که در پیش است را بیشتر از ۱۰ درصد برآورد میکنم.» این بیانیهها شکافهای عمیق و نگرانیهای جدی را در لایههای فنی پیشرو صنعت هوش مصنوعی آشکار میسازند.

