107 şirketi kapsayan bir çalışmanın sonuçlarına göre, yapay zeka altyapısına yatırım yapma trendi, bu şirketlerin ekonomik gözlem ve yönetim kapasitelerinden daha hızlı ilerliyor. Çoğu organizasyon hala yapay zekayı uygulama sürecinin ilk aşamalarında ve yalnızca yüzde 21’i yapay zekayı geniş ölçekte kullanıma almış durumda; satın alma planları ise hâlihazırda neredeyse hiç kullanılmayan özel altyapıya odaklanıyor.
Google, Microsoft, AWS, Oracle gibi bulut hizmet sağlayıcıları ve Gemini, OpenAI, Anthropic gibi API modellerinin yaygın kullanımına rağmen, şirketler genellikle özel bulut platformlarına ve yeni hızlandırıcılara yöneliyor. İlginç bir şekilde, satın alma kararları çoğunlukla entegrasyon kapasitesi ve toplam sahip olma maliyeti temelinde alınıyor, ilk fiyat ise daha az önemli bir rol oynuyor. Bununla birlikte, birçok şirket hâlâ yapay zeka altyapılarının gerçek maliyetlerini ve getirisini doğru bir şekilde ölçemiyor. Ayrıca, satın alınan GPU’ların çoğu kapasitelerinin yarısından azında çalışıyor, bu da düşük verimlilikle sonuçlanıyor.
Organizasyonların yüzde 64’ü önümüzdeki 12 ay içinde altyapı sağlayıcılarını eklemeyi veya değiştirmeyi planlıyor, ancak çoğu tanınmış sağlayıcılar arasında geçiş yapıyor. Öte yandan, organizasyonların yüzde 83’ü GPU’larının kapasitelerinin yüzde 50’sinden azında çalıştığını bildiriyor ve yarısından azı maliyetleri doğru bir şekilde takip edebiliyor. Bir sonraki zorluk ise, bellek bant genişliğinden kaynaklanan çıkarım darboğazlarını işlem sürecinden ayırmak olacak; bu durum birçokları için belirsiz ve önemi daha az dikkate alınıyor.
Bu sonuçlar, yapay zeka altyapısı satın alma isteğinin maliyetleri ölçme ve optimize etme becerisini geride bıraktığını ve mevcut işlem açığının daha fazla donanım satın alarak çözülemeyeceğini, bunun yerine altyapılar üzerinde daha fazla şeffaflık ve ekonomik izleme gerektirdiğini göstermektedir.