استفاده از پرامپتهای طولانی در مدلهای زبان بزرگ (LLM) میتواند باعث جلوگیری از پردازش همزمان درخواستهای دیگر شود و عملکرد این مدلها را تحت تأثیر قرار دهد. این مشکل زمانی بیشتر خود را نشان میدهد که تعداد درخواستها بالا باشد و مدل در پاسخدهی بهینه دچار اختلال شود.
در این مقاله روشهای مختلف بهینهسازی برای مقابله با این محدودیت بررسی شده است تا بتوان از منابع مدل بهصورت مؤثرتر استفاده کرد و کارایی آن را افزایش داد.