جیکوب کاکسون، پژوهشگر برجستهی هوش مصنوعی، با ترک شرکت انتروپیک (Anthropic) دست به اقدامی رمزآلودتر از معمول زد؛ برخلاف بسیاری از همکارانش که برای راهاندازی استارتاپهای جدید یا اعتراض به مدلهای کسبوکارِ تبلیغاتی میروند، او استعفای خود را فرصتی برای هشدار عمومی دربارهی خطرات وجودی (Existential Risk) ساختارهای پیشرو هوش مصنوعی برداشت. کاکسون در پستی در شبکههای اجتماعی مدعی شد که شرکتهای بزرگ هوش مصنوعی با توسعهی سیستمهایی که «باور صادقانه» دارند تا پایان این دهه میتوانند به عامل کشتهشدن تمام انسانها تبدیل شوند، عملاً با جان میلیاردها نفر قمار میکنند.
به گفتهی او، این خطر نه столько در مدلهای فعلی، که در آگاهی از ظهور ناشتا «سوپررتبه هوش مصنوعی» (Self-improving Superintelligence) نهفته است. این سیستمهای فرابتکاری有能力ات خواهند داشت که هر سیستمی را قلاب (Hack) کنند، تقریباً در یک شبه هر حوزهای را متحول سازند و به قدرت و منابع واقعی دست یابند. کاکسون معتقد است که سایرین در حال توسعهی این مدلها یا اهمیت تمدنی این مسأله را درک نکردهاند، یا باور دارند که باید برای رسیدن به سوپررتبه هوش مصنوعی شتاب بگیرند تا منتقدین یا بازیگران غیرمسئول به آن نرسند.
این انتقادها تنها به یک فرد محدود نمیشوند؛ اوان هوبنگر، سرپرست بخش علم همراستایی (Alignment Science) در انتروپیک، این دیدگاه را در شبکههای اجتماعی تأیید کرد. هوبنگر نوشت: «جیکوب در اینجا درست میگوید - ما واقعاً باور داریم که هوش مصنوعی میتواند تمام انسانها را از بین ببرد! من شخصاً احتمال رخداد این فاجعه را در دههی آینده بیش از ۱۰ درصد میدانم.» این اظهارات نشاندهندهی شکافهای عمیق و نگرانیهای جدی در درون خود لایههای فنی پیشرو هوش مصنوعی هست.

