التحليل في PyTorch هو أداة قوية لتحديد العقبات الحسابية وتحسين أداء نماذج التعلم العميق. في هذا القسم، يركز الاهتمام على آلية الانتباه، وهي المكون الأساسي لنماذج Transformer واللغات المتقدمة للذكاء الاصطناعي.
باستخدام torch.profiler يمكنك تسجيل وعرض زمن التنفيذ واستهلاك الذاكرة وعدد مرات استدعاء مشغلات الانتباه. يمكن فحص النتائج التي تم الحصول عليها في TensorBoard أو كجدول مفصل لتحديد نقاط الضعف وتحسين أداء النموذج بشكل كبير عن طريق تعديل حجم الدفعة أو الدقة المختلطة أو التغييرات المعمارية.