Ön plana çıkan bir yapay zeka araştırmacısı olan Jacob Kaxon, Anthropic'ten ayrılırken sıra dışı ve çelişkili bir adım attı; yeni bir girişim başlatmak veya reklam amaçlı iş modellerini protesto etmek üzere ayrılan birçok meslektaşıyla aksine, istifa sürecini başlıca yapay zeka yapılarının ortaya koyduğu varoluşsalrisklere karşı kamuoyunu uyarma fırsatı olarak değerlendirdi. Bir sosyal medya gönderisinde Kaxon, büyük yapay zeka şirketlerinin "gerçek inancalara" sahip olabilecek ve bu on yılın sonuna kadar tüm insanlık için ölümcül bir faktör haline gelebilecek sistemler geliştirerek effectively milyarlarca insanın hayatıyla kumar oynadığını iddia etti.
Kaxon'a göre bu tehlike mevcut modellerden ziyade, "Kendini İyileştiren Süper Zekâ"nın yakın zamanda ortaya çıkacağının bilincinde yatmaktadır. Bu süper zeki sistemler herhangi bir sistemi hackleyebilme, neredeyse her alanı bir gecede dönüştürebilme ve gerçek güce ve kaynaklara erişme yeteneğine sahip olacaktır. Kaxon, diğerlerinin ya bu modelleri bu konunun varoluşsal önemini anlamadan geliştirdiğine ya da Süper Zekâya olan ilerlemenin, eleştirmenlerin veya sorumsuz aktörlerin bundan önce ulaşmasını önlemek için hızlandırılması gerektiğine inandığını düşünmektedir.
Yargı bunlardan tek bir kişiyle sınırlı değildir; Anthropic'in Hizalama Bilimleri bölümünün başkanı olan Evan Hubinger de bu görüşü sosyal medyada destekledi. Hubinger şunları yazdı: "Jacob burada haklı — yapay zekanın gerçekten tüm insanlığı yok edebileceğine inandıklarımızı gerçekten de kabul ediyoruz! Ben kişisel olarak, bu felaketin önümüzdeki on yılda gerçekleşme olasılığını %10'dan yüksek olarak tahmin ediyorum." Bu beyanlar, yapay zeka sektörünün önde gelen teknik katmanlarında derin yarılmaları ve ciddi endişeleri vurguluyor.