در حال حاضر، پیچیدگی عاملهای هوش مصنوعی بهعنوان یک سایهٔ مخفی درون شرکتها ظاهر شده که نیاز به روشن شدن دارد. سازمانها دیگر یک عامل را بهتنهایی بهکار نمیگیرند؛ بلکه ناوگانی از عوامل را مستقر میکنند که هر یک بهصورت مداوم به APIها، به یکدیگر و به برنامههایی که اصلاً برای تصمیمگیری ماشین طراحی نشدهاند، دسترسی دارند.
این وضعیت منجر به ایجاد سامانهای پیچیده میشود که هیچکس نمیتواند بهطور کامل آن را درک یا کنترل کند. افزودن یک عامل جدید تنها یک اتصال جدید نیست؛ هر عامل میتواند به هر عامل دیگر متصل شود و هر اتصال میتواند زنجیرهای از فراخوانیها را در نقاط دیگر سامانه ایجاد کند. بهعبارت دیگر، پیچیدگی با تعداد مسیرهای بین عوامل رشد میکند، نه تنها با تعداد خود عوامل.
نتیجهٔ این امر این است که یک تیکت پشتیبانی که قبلاً فقط به یک سیستم میرسید، اکنون ممکن است از طریق چهار عامل مختلف عبور کند و هر یک از این انتقالها نقطهٔ تصمیمگیری جدیدی است که هیچکس آن را تأیید نکرده است.
بخشهای امنیتی و مدیریتی معمولاً با سؤال سادهای مانند «کدام عوامل میتوانند به کدام سامانهها دسترسی داشته باشند؟» یا «کدام عامل سه گام پیشتر چه عملی را آغاز کرده است؟» مواجه میشوند و پاسخهای واضحی دریافت نمیکنند. این عدم شفافیت باعث میشود که برنامههای هوش مصنوعی سازمانی در مرحلهٔ ایستایی گیر کنند.
رویکردهای سنتی مبتنی بر چکلیست و تأیید یکباره برای هر عامل کافی نیستند؛ زیرا این روشها فقط یک نقطهٔ زمانی را پوشش میدهند، در حالی که پیچیدگی یک زنجیرهٔ پیوسته است که نیاز به نظارت مداوم دارد.
اولین مشکل، رشد ناآگاهانهٔ دسترسیهاست. بهعنوان مثال، یک عامل برای خلاصهسازی تیکتها ساخته میشود و دسترسی گستردهای به APIها داده میشود تا زمان توسعهٔ دقیقتر صرفهجویی شود؛ سپس این عامل پس از شش ماه به سامانهٔ پرداختها دسترسی پیدا میکند بدون اینکه هیچکس این تغییر را تأیید کرده باشد.
دومین مشکل، کمرنگ شدن مالکیت است. وقتی پنج عامل در یک گردش کار دخالت دارند، اگر در مرحلهٔ چهارم مشکلی پیش آید، مسئولیتپذیری بهوضوح تعریف نشده و هیچکس نمیداند چه کسی باید پاسخگو باشد.
برای حل این چالشها، زیرساختهای حاکمیتی باید بهروز شوند. هر عامل باید بهعنوان یک موجودیت مستقل با نام و مجوزهای مشخص ثبت شود و یک سرپرست انسانی مسئول آن تعیین گردد. اما این تنها بخشی از راهحل است؛ نظارت بر زنجیرهٔ کامل تعاملات عاملها بهصورت زمان واقعی و توانایی جلوگیری از فراخوانیهای خارج از سیاست، ضروری است.
سازمانهایی که توانستهاند بین مقیاسپذیری و پاسخگویی تعادل برقرار کنند، بهجای کاهش سرعت، بهسوی هماهنگی انسان‑عامل پیش میروند. خطر واقعی نه یک عامل منفرد، بلکه صدها عامل است که همزمان و در ترکیبهای غیرقابل پیشبینی عمل میکنند؛ و این همان مانعی است که بسیاری از پروژههای هوش مصنوعی سازمانی را در حالت آزمایشی نگه میدارد.