vLLM, yüksək performanslı Böyük Dil Modelləri (BDM) üçün aparıcı açıq mənbəli çərçivə, yaxın zamanda transformer modelləri üçün 'yerli sürətdə' işləyən yeni model arxa sonluğunu təqdim etdi. Bu əhəmiyyətli texniki irəliləyiş o deməkdir ki, transformer modelləri minimum proqram təminatı ilə mümkün olan ən yüksək sürətdə işləyə bilər.
Bu yeni arxa sonluqdan istifadə etmək BDM cavablarında ötürmə qabiliyyətini əhəmiyyətli dərəcədə artırır və gecikməni azaldır ki, bu da chatbotlar, ağıllı köməkçilər və təbii dil emalı kimi miqyaslana bilən süni intellekt tətbiqləri üçün kritikdir. Bu yenilik, tərtibatçılara modellərini misilsiz optimallaşdırma ilə yerləşdirməyə və aparat imkanlarından tam istifadə etməyə imkan verir, bununla da daha hamar və daha həssas istifadəçi təcrübəsi təmin edir.