يُعد تحسين عملية الاستدلال في نماذج اللغات الكبيرة (LLMs) أحد التحديات الرئيسية للمطورين في بيئات الإنتاج. ويمثل استخدام تقنيات الدفعات (batching) أحد الحلول الأساسية لزيادة الكفاءة وتقليل التكاليف، وهي تُصنف إلى ثلاثة أنواع رئيسية: الساكنة، والديناميكية، والمستمرة.
في الدفعات الساكنة، تنتظر الطلبات حتى يتم الوصول إلى حد ثابت، مما يؤدي إلى زيادة زمن الاستجابة. وفي المقابل، أحدثت تقنية الدفعات المستمرة ثورة في معدل الإنتاجية من خلال السماح بدخول طلبات جديدة بمجرد اكتمال معالجة أي رمز (token) فردي. ويُعد فهم الاختلافات بين هذه الأساليب الثلاثة أمرًا ضروريًا للإدارة المثلى لموارد الأجهزة وتحسين تجربة المستخدم في التطبيقات القائمة على الذكاء الاصطناعي.