GAN-এর অনেকগুলি সাধারণ ব্যর্থতার মোড রয়েছে। এই সমস্ত সাধারণ সমস্যাগুলি সক্রিয় গবেষণার ক্ষেত্র। যদিও এই সমস্যাগুলির কোনওটিই সম্পূর্ণরূপে সমাধান করা হয়নি, আমরা কিছু জিনিস উল্লেখ করব যা লোকেরা চেষ্টা করেছে৷
অদৃশ্য গ্রেডিয়েন্ট
গবেষণায় পরামর্শ দেওয়া হয়েছে যে যদি আপনার বৈষম্যকারী খুব ভাল হয়, তাহলে জেনারেটর প্রশিক্ষণ অদৃশ্য গ্রেডিয়েন্টের কারণে ব্যর্থ হতে পারে। প্রকৃতপক্ষে, একটি সর্বোত্তম বৈষম্যকারী জেনারেটরকে অগ্রগতি করার জন্য যথেষ্ট তথ্য প্রদান করে না।
প্রতিকারের প্রচেষ্টা
- Wasserstein ক্ষতি : Wasserstein ক্ষতি এমনভাবে ডিজাইন করা হয়েছে যাতে আপনি যখন বৈষম্যকারীকে সর্বোত্তমতার জন্য প্রশিক্ষণ দেন তখনও গ্রেডিয়েন্ট অদৃশ্য হওয়া রোধ করে।
- সংশোধিত মিনিম্যাক্স লস : মূল GAN পেপারটি অদৃশ্য হয়ে যাওয়া গ্রেডিয়েন্টের সাথে মোকাবিলা করার জন্য সর্বনিম্ন ক্ষতির জন্য একটি পরিবর্তনের প্রস্তাব করেছে।
মোড সঙ্কুচিত
সাধারণত আপনি চান যে আপনার GAN বিভিন্ন ধরনের আউটপুট তৈরি করুক। আপনি, উদাহরণস্বরূপ, আপনার মুখ জেনারেটরে প্রতিটি র্যান্ডম ইনপুটের জন্য একটি ভিন্ন মুখ চান৷
যাইহোক, যদি একটি জেনারেটর একটি বিশেষভাবে বিশ্বাসযোগ্য আউটপুট তৈরি করে, তাহলে জেনারেটর শুধুমাত্র সেই আউটপুট তৈরি করতে শিখতে পারে। প্রকৃতপক্ষে, জেনারেটর সর্বদা এমন একটি আউটপুট খুঁজে বের করার চেষ্টা করে যা বৈষম্যকারীর কাছে সবচেয়ে যুক্তিযুক্ত বলে মনে হয়।
যদি জেনারেটর একই আউটপুট (বা আউটপুটগুলির একটি ছোট সেট) বারবার উত্পাদন করতে শুরু করে, তবে বৈষম্যকারীর সর্বোত্তম কৌশল হল সেই আউটপুটটিকে সর্বদা প্রত্যাখ্যান করতে শেখা। কিন্তু যদি পরবর্তী প্রজন্মের বৈষম্যকারী স্থানীয় ন্যূনতম মধ্যে আটকে যায় এবং সেরা কৌশল খুঁজে না পায়, তাহলে পরবর্তী জেনারেটরের পুনরাবৃত্তির জন্য বর্তমান বৈষম্যকারীর জন্য সবচেয়ে যুক্তিযুক্ত আউটপুট খুঁজে পাওয়া খুব সহজ।
জেনারেটরের প্রতিটি পুনরাবৃত্তি একটি নির্দিষ্ট বৈষম্যকারীর জন্য ওভার-অপ্টিমাইজ করে এবং বৈষম্যকারী কখনই ফাঁদ থেকে বেরিয়ে আসার উপায় শিখতে পারে না। ফলস্বরূপ জেনারেটর আউটপুট ধরনের একটি ছোট সেট মাধ্যমে ঘোরানো. GAN ব্যর্থতার এই ফর্মটিকে মোড পতন বলা হয়।
প্রতিকারের প্রচেষ্টা
নিম্নলিখিত পন্থাগুলি জেনারেটরকে একটি একক স্থির বৈষম্যকারীর জন্য অপ্টিমাইজ করা থেকে বাধা দিয়ে তার পরিধি প্রসারিত করতে বাধ্য করার চেষ্টা করে:
- Wasserstein ক্ষতি : Wasserstein ক্ষতির মাধ্যমে আপনি বৈষম্যকারীকে সর্বোত্তমতার জন্য প্রশিক্ষিত করে গ্রেডিয়েন্টের অদৃশ্য হওয়ার বিষয়ে উদ্বিগ্ন না হয়ে মোডের পতন হ্রাস করে। যদি বৈষম্যকারী স্থানীয় মিনিমাতে আটকে না যায়, তাহলে এটি জেনারেটর যে আউটপুট স্থির করে তা প্রত্যাখ্যান করতে শেখে। তাই জেনারেটর নতুন কিছু চেষ্টা করতে হবে।
- আনরোলড GAN : আনরোলড GAN একটি জেনারেটর লস ফাংশন ব্যবহার করে যা শুধুমাত্র বর্তমান বৈষম্যকারীর শ্রেণীবিভাগই নয়, ভবিষ্যতের বৈষম্যকারী সংস্করণগুলির আউটপুটও অন্তর্ভুক্ত করে। তাই জেনারেটর একটি একক বৈষম্যকারীর জন্য ওভার-অপ্টিমাইজ করতে পারে না।
একত্রিত হতে ব্যর্থ
GANগুলি প্রায়শই একত্রিত হতে ব্যর্থ হয়, যেমনটি প্রশিক্ষণের মডিউলে আলোচনা করা হয়েছে।
প্রতিকারের প্রচেষ্টা
গবেষকরা GAN কনভারজেন্স উন্নত করতে নিয়মিতকরণের বিভিন্ন রূপ ব্যবহার করার চেষ্টা করেছেন, যার মধ্যে রয়েছে:
- বৈষম্যকারী ইনপুটগুলিতে শব্দ যোগ করা : উদাহরণ স্বরূপ, প্রশিক্ষণ জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্কের জন্য নীতিগত পদ্ধতির দিকে দেখুন।
- বৈষম্যকারীর ওজনকে শাস্তি দেওয়া : উদাহরণ স্বরূপ, নিয়মিতকরণের মাধ্যমে জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্কের স্থিতিশীল প্রশিক্ষণ দেখুন।