সেভ করা পৃষ্ঠা গুছিয়ে রাখতে 'সংগ্রহ' ব্যবহার করুন
আপনার পছন্দ অনুযায়ী কন্টেন্ট সেভ করুন ও সঠিক বিভাগে রাখুন।
আপনার বোঝার পরীক্ষা করুন: ব্যাচের আকার
নীচের বিকল্পগুলি অন্বেষণ করুন.
একটি বড় ডেটা সেটে গ্রেডিয়েন্ট ডিসেন্ট করার সময়, নিম্নলিখিত ব্যাচের আকারগুলির মধ্যে কোনটি সম্ভবত আরও কার্যকর হবে?
পুরো ব্যাচ।
একটি পূর্ণ ব্যাচ থেকে গ্রেডিয়েন্ট গণনা করা অদক্ষ। অর্থাৎ, গ্রেডিয়েন্ট সাধারণত একটি বিশাল বড় পূর্ণ ব্যাচের তুলনায় একটি ছোট ব্যাচ থেকে অনেক বেশি দক্ষতার সাথে (এবং ঠিক ততটাই নির্ভুলভাবে) গণনা করা যেতে পারে।
একটি ছোট ব্যাচ বা এমনকি একটি উদাহরণের একটি ব্যাচ (SGD)।
আশ্চর্যজনকভাবে যথেষ্ট, একটি ছোট ব্যাচ বা এমনকি একটি উদাহরণের একটি ব্যাচে গ্রেডিয়েন্ট ডিসেন্ট সম্পাদন করা সাধারণত সম্পূর্ণ ব্যাচের চেয়ে বেশি দক্ষ। সর্বোপরি, লক্ষ লক্ষ উদাহরণের গ্রেডিয়েন্ট খোঁজার চেয়ে একটি উদাহরণের গ্রেডিয়েন্ট খুঁজে পাওয়া অনেক সস্তা। একটি ভাল প্রতিনিধি নমুনা নিশ্চিত করার জন্য, অ্যালগরিদম প্রতিটি পুনরাবৃত্তিতে আরেকটি এলোমেলো ছোট ব্যাচ (বা একটি ব্যাচ) তৈরি করে।
