একটি মডেলকে প্রশিক্ষণের জন্য, মডেলের ক্ষতি কমানোর জন্য আমাদের একটি ভাল উপায় প্রয়োজন। একটি পুনরাবৃত্তিমূলক পদ্ধতি ক্ষতি কমানোর জন্য একটি বহুল ব্যবহৃত পদ্ধতি, এবং এটি পাহাড়ের নিচে হাঁটার মতোই সহজ এবং দক্ষ।
ক্ষতি কমানো
আমরা কিভাবে ক্ষতি কমাতে পারি?
- হাইপারপ্যারামিটার হল কনফিগারেশন সেটিংস যা মডেলটি কীভাবে প্রশিক্ষিত হয় তা টিউন করতে ব্যবহৃত হয়।
- ওজন এবং পক্ষপাতের ক্ষেত্রে (y - y') 2 এর ডেরিভেটিভ আমাদের বলে যে প্রদত্ত উদাহরণের জন্য ক্ষতি কীভাবে পরিবর্তিত হয়
- গণনা করা সহজ এবং উত্তল
- তাই আমরা বারবার সেই দিকে ছোট ছোট পদক্ষেপ নিই যাতে ক্ষতি কম হয়
- আমরা এই গ্রেডিয়েন্ট ধাপগুলিকে বলি (কিন্তু এগুলি সত্যিই নেতিবাচক গ্রেডিয়েন্ট পদক্ষেপ)
- এই কৌশলটিকে গ্রেডিয়েন্ট ডিসেন্ট বলা হয়
গ্রেডিয়েন্ট ডিসেন্টের ব্লক ডায়াগ্রাম
- গ্রেডিয়েন্ট ডিসেন্ট এক্সারসাইজ চেষ্টা করুন
- আপনি যখন অনুশীলন শেষ করেন, চালিয়ে যেতে প্লে ▶ টিপুন
ওজন সূচনা
- উত্তল সমস্যাগুলির জন্য, ওজন যে কোনও জায়গায় শুরু হতে পারে (বলুন, সমস্ত 0 সেকেন্ড)
- উত্তল: একটি বাটি আকৃতি চিন্তা করুন
- শুধু একটি সর্বনিম্ন
ওজন সূচনা
- উত্তল সমস্যাগুলির জন্য, ওজন যে কোনও জায়গায় শুরু হতে পারে (বলুন, সমস্ত 0 সেকেন্ড)
- উত্তল: একটি বাটি আকৃতি চিন্তা করুন
- শুধু একটি সর্বনিম্ন
- পূর্বাভাস: নিউরাল জালের জন্য সত্য নয়
- অ-উত্তল: একটি ডিমের ক্রেটের কথা চিন্তা করুন
- সর্বনিম্ন একাধিক
- প্রাথমিক মানগুলির উপর শক্তিশালী নির্ভরতা
SGD এবং মিনি-ব্যাচ গ্রেডিয়েন্ট ডিসেন্ট
- প্রতিটি ধাপে সম্পূর্ণ ডেটা সেটের উপর গ্রেডিয়েন্ট গণনা করতে পারে, কিন্তু এটি অপ্রয়োজনীয় হতে দেখা যাচ্ছে
- ছোট ডেটা নমুনাগুলিতে কম্পিউটিং গ্রেডিয়েন্ট ভাল কাজ করে
- প্রতিটি পদক্ষেপে, একটি নতুন এলোমেলো নমুনা পান
- স্টোকাস্টিক গ্রেডিয়েন্ট ডিসেন্ট : একবারে একটি উদাহরণ
- মিনি-ব্যাচ গ্রেডিয়েন্ট ডিসেন্ট : 10-1000 ব্যাচ
- ক্ষতি এবং গ্রেডিয়েন্ট ব্যাচের উপর গড় করা হয়