মাল্টি-ক্লাস নিউরাল নেটওয়ার্ক: সফটম্যাক্স

আনুমানিক সময়: 8 মিনিট

মনে রাখবেন যে লজিস্টিক রিগ্রেশন 0 এবং 1.0 এর মধ্যে একটি দশমিক উৎপন্ন করে। উদাহরণস্বরূপ, একটি ইমেল ক্লাসিফায়ার থেকে 0.8 এর একটি লজিস্টিক রিগ্রেশন আউটপুট একটি ইমেল স্প্যাম হওয়ার 80% সম্ভাবনা এবং এটি স্প্যাম না হওয়ার 20% সম্ভাবনার পরামর্শ দেয়৷ স্পষ্টতই, একটি ইমেল স্প্যাম বা স্প্যাম না হওয়ার সম্ভাবনার যোগফল হল 1.0৷

সফটম্যাক্স এই ধারণাটিকে বহু-শ্রেণীর বিশ্বে প্রসারিত করে। অর্থাৎ, Softmax একটি মাল্টি-ক্লাস সমস্যায় প্রতিটি ক্লাসে দশমিক সম্ভাব্যতা নির্ধারণ করে। এই দশমিক সম্ভাব্যতা 1.0 পর্যন্ত যোগ করতে হবে। এই অতিরিক্ত সীমাবদ্ধতা প্রশিক্ষণকে অন্যথার চেয়ে আরও দ্রুত একত্রিত হতে সাহায্য করে।

উদাহরণস্বরূপ, চিত্র 1-এ আমরা যে চিত্র বিশ্লেষণে ফিরে এসেছি, Softmax একটি নির্দিষ্ট শ্রেণির অন্তর্গত একটি চিত্রের নিম্নলিখিত সম্ভাবনা তৈরি করতে পারে:

ক্লাস	সম্ভাবনা
আপেল	0.001
ভালুক	0.04
মিছরি	0.008
কুকুর	0.95
ডিম	0.001

Softmax আউটপুট স্তরের ঠিক আগে একটি নিউরাল নেটওয়ার্ক স্তরের মাধ্যমে প্রয়োগ করা হয়। Softmax লেয়ারে অবশ্যই আউটপুট লেয়ারের সমান সংখ্যক নোড থাকতে হবে।

চিত্র 2. একটি নিউরাল নেটওয়ার্কের মধ্যে একটি Softmax স্তর।

সফটম্যাক্স সমীকরণ দেখতে প্লাস আইকনে ক্লিক করুন।

Softmax সমীকরণটি নিম্নরূপ:

$$p(y = j|\textbf{x}) = \frac{e^{(\textbf{w}_j^{T}\textbf{x} + b_j)}}{\sum_{k\in K} {e^{(\textbf{w}_k^{T}\textbf{x} + b_k)}} }$$

উল্লেখ্য যে এই সূত্রটি মূলত লজিস্টিক রিগ্রেশনের সূত্রটিকে একাধিক শ্রেণীতে প্রসারিত করে।

সফটম্যাক্স অপশন

Softmax এর নিম্নলিখিত রূপগুলি বিবেচনা করুন:

• ফুল সফটম্যাক্স হল সেই সফটম্যাক্স যা আমরা আলোচনা করছি; অর্থাৎ, Softmax প্রতিটি সম্ভাব্য শ্রেণীর জন্য একটি সম্ভাব্যতা গণনা করে।

• প্রার্থীর নমুনা নেওয়ার অর্থ হল Softmax সমস্ত ইতিবাচক লেবেলের জন্য একটি সম্ভাব্যতা গণনা করে কিন্তু শুধুমাত্র নেতিবাচক লেবেলের একটি এলোমেলো নমুনার জন্য। উদাহরণস্বরূপ, যদি আমরা একটি ইনপুট চিত্র একটি বিগল বা ব্লাডহাউন্ড কিনা তা নির্ধারণ করতে আগ্রহী, আমাদের প্রতিটি নন-ডগি উদাহরণের জন্য সম্ভাব্যতা প্রদান করতে হবে না।

ক্লাসের সংখ্যা কম হলে ফুল সফটম্যাক্স মোটামুটি সস্তা কিন্তু ক্লাসের সংখ্যা বাড়লে এটি নিষেধমূলকভাবে ব্যয়বহুল হয়ে ওঠে। প্রচুর সংখ্যক ক্লাস থাকার সমস্যায় প্রার্থীর নমুনা দক্ষতার উন্নতি করতে পারে।

এক লেবেল বনাম অনেক লেবেল

Softmax অনুমান করে যে প্রতিটি উদাহরণ ঠিক একটি শ্রেণীর সদস্য। কিছু উদাহরণ, তবে, একই সাথে একাধিক শ্রেণীর সদস্য হতে পারে। এই ধরনের উদাহরণের জন্য:

• আপনি Softmax ব্যবহার নাও করতে পারেন।
• আপনাকে একাধিক লজিস্টিক রিগ্রেশনের উপর নির্ভর করতে হবে।

উদাহরণ স্বরূপ, ধরুন আপনার উদাহরণগুলি হল ঠিক একটি আইটেম-ফলের টুকরো ধারণকারী ছবি। Softmax একটি আইটেম একটি নাশপাতি, একটি কমলা, একটি আপেল, এবং তাই হওয়ার সম্ভাবনা নির্ধারণ করতে পারে। যদি আপনার উদাহরণগুলি সব ধরণের জিনিস-বিভিন্ন ধরনের ফলের বাটি-সমৃদ্ধ ছবি হয়- তাহলে আপনাকে পরিবর্তে একাধিক লজিস্টিক রিগ্রেশন ব্যবহার করতে হবে।

মূল শর্তাবলী

প্রার্থীর নমুনা	পণ্য সরবরাহ সংশ্লেষণ
বহু-শ্রেণী	softmax

সাহায্য কেন্দ্র