Böyük dil modelləri adətən uzun mətnləri emal etmək üçün böyük kontekst pəncərələri tələb edir, lakin bəzi tətbiqlərdə bu pəncərələr aparat məhdudiyyətləri və ya xərc mülahizələri ilə məhdudlaşdırılır. Belə məhdudiyyətlər modelin dəqiqliyinə və səmərəliliyinə mənfi təsir göstərə bilər.
Bu məqalədə bu problemi həll etmək üçün üç praktik həll təqdim olunur: (1) mətni məntiqi hissələrə bölmək və aralıq xülasələmə üsullarını tətbiq etmək; (2) kritik məlumatları saxlamaq və emal zamanı əldə etmək üçün xarici yaddaşdan istifadə etmək; (3) mətnin yalnız əsas hissələrini modelə ötürən ağıllı yenidən nümunə götürmə üsullarından istifadə etmək. Hər bir yanaşma üçün tam Python nümunələri təqdim olunur ki, tərtibatçılar onları layihələrinə tez inteqrasiya edə bilsinlər.
Bu strategiyaları tətbiq etməklə, böyük dil modellərinin performansı kiçik kontekst pəncərələri ilə belə əhəmiyyətli dərəcədə artırıla bilər, eyni zamanda hesablama xərcləri də azaldıla bilər.