تقطیر دانش (Knowledge Distillation) یکی از روش‌های کلیدی برای کوچک‌سازی مدل‌های هوش مصنوعی بدون افت شدید دقت است، اما هزینه‌های بالای آموزش همواره مانعی برای استفاده گسترده از آن بوده است.
رویکردهای جدید بر کاهش بار محاسباتی در حین انتقال دانش از مدل‌های بزرگ به کوچک تمرکز دارند تا این تکنیک برای تمامی کسب‌وکارها اقتصادی و در مقیاس بزرگ قابل اجرا شود. با این بهینه‌سازی‌ها، مدل‌های سبک‌تر با سرعت بیشتری جایگزین مدل‌های سنگین در محیط‌های عملیاتی خواهند شد.