با مجموعهها، منظم بمانید
ذخیره و دستهبندی محتوا براساس اولویتهای شما.
درک خود را بررسی کنید: اندازه دسته
گزینه های زیر را بررسی کنید.
هنگام انجام نزول گرادیان روی یک مجموعه داده بزرگ، کدام یک از اندازه های دسته ای زیر احتمالا کارآمدتر خواهد بود؟
دسته کامل.
محاسبه گرادیان از یک دسته کامل ناکارآمد است. به این معنا که گرادیان معمولاً می‌تواند بسیار کارآمدتر (و دقیقاً به همان اندازه) از یک دسته کوچکتر از یک دسته کامل بسیار بزرگتر محاسبه شود.
یک دسته کوچک یا حتی یک دسته از یک نمونه (SGD).
به طور شگفت انگیزی، انجام نزول گرادیان روی یک دسته کوچک یا حتی یک دسته از یک نمونه معمولاً کارآمدتر از دسته کامل است. به هر حال، یافتن گرادیان یک مثال بسیار ارزان‌تر از یافتن گرادیان میلیون‌ها مثال است. برای اطمینان از یک نمونه نماینده خوب، الگوریتم یک دسته کوچک تصادفی دیگر (یا دسته ای از یک) را در هر تکرار جمع آوری می کند.
