مدلهای ترنسفورمر، بهویژه معماریهای مبتنی بر دیکودر (Decoder-only)، پایه و اساس ابزارهای پیشرفتهای هستند که با پیشبینی توکن بعدی بر اساس دادههای پیشین عمل میکنند. درک دقیق سازوکار این مدلها نیازمند بررسی چهار رکن اصلی است: فرآیند تولید خودبازگشتی (Autoregressive Generation)، مراحل پیشپر کردن و رمزگشایی (Prefill/Decode)، مدیریت حافظه پنهان کلید-مقدار (KV Cache) و تحلیل مصرف حافظه در این فرآیند.
در این راستا، بهینهسازی استنتاج در هوش مصنوعی نه تنها به درک تئوریک مدل، بلکه به مدیریت صحیح منابع حافظه در زمان پردازش توکنها بستگی دارد. تکنیکهایی نظیر KV Cache با کاهش بار محاسباتی، سرعت پاسخدهی مدل را به طرز چشمگیری افزایش میدهند.