Büyük Dil Modellerinde (LLM'ler) çıkarım sürecini optimize etmek, üretim ortamlarındaki geliştiriciler için temel zorluklardan biridir. Verimliliği artırmak ve maliyetleri düşürmek için başlıca çözümlerden biri; statik, dinamik ve sürekli olmak üzere üç ana gruba ayrılan toplu işleme (batching) tekniklerinin kullanılmasıdır.
Statik toplu işlemede istekler, sabit bir eşiğe ulaşılana kadar bekler ve bu da gecikme süresinin artmasına yol açar. Buna karşılık sürekli toplu işleme tekniği, herhangi bir belirtecin (token) işlenmesi tamamlanır tamamlanmaz yeni isteklerin kabul edilmesini sağlayarak veri işlem hızında (throughput) devrim yaratmıştır. Bu üç yaklaşım arasındaki farkları anlamak, donanım kaynaklarının en iyi şekilde yönetilmesi ve yapay zeka destekli uygulamalarda kullanıcı deneyiminin iyileştirilmesi açısından büyük önem taşımaktadır.