লজিস্টিক রিগ্রেশনের জন্য লস ফাংশন
রৈখিক রিগ্রেশনের লস ফাংশন হল বর্গ লস। লজিস্টিক রিগ্রেশনের জন্য ক্ষতির ফাংশন হল লগ লস , যা নিম্নরূপ সংজ্ঞায়িত করা হয়েছে:
কোথায়:
- \((x,y)\in D\) হল অনেকগুলি লেবেলযুক্ত উদাহরণ সমন্বিত ডেটা সেট, যেগুলি হল \((x,y)\) জোড়া৷
- \(y\) হল একটি লেবেলযুক্ত উদাহরণের লেবেল। যেহেতু এটি লজিস্টিক রিগ্রেশন, তাই \(y\) এর প্রতিটি মান অবশ্যই 0 বা 1 হতে হবে।
- \(y'\) হল পূর্বাভাসিত মান (কোথাও 0 এবং 1 এর মধ্যে), \(x\)এ বৈশিষ্ট্যগুলির সেট দেওয়া।
লজিস্টিক রিগ্রেশনে নিয়মিতকরণ
লজিস্টিক রিগ্রেশন মডেলিংয়ে নিয়মিতকরণ অত্যন্ত গুরুত্বপূর্ণ। নিয়মিতকরণ ছাড়া, লজিস্টিক রিগ্রেশনের অ্যাসিম্পোটিক প্রকৃতি উচ্চ মাত্রায় 0-এর দিকে ড্রাইভিং ক্ষতি চালিয়ে যাবে। ফলস্বরূপ, বেশিরভাগ লজিস্টিক রিগ্রেশন মডেলগুলি মডেল জটিলতা কমাতে নিম্নলিখিত দুটি কৌশলগুলির মধ্যে একটি ব্যবহার করে:
- এল 2 নিয়মিতকরণ।
- প্রারম্ভিক থামানো, অর্থাৎ, প্রশিক্ষণের ধাপের সংখ্যা বা শেখার হার সীমিত করা।
(আমরা তৃতীয় কৌশল নিয়ে আলোচনা করব—এল 1 নিয়মিতকরণ— পরবর্তী মডিউলে ।)
কল্পনা করুন যে আপনি প্রতিটি উদাহরণে একটি অনন্য আইডি বরাদ্দ করেছেন এবং প্রতিটি আইডিকে তার নিজস্ব বৈশিষ্ট্যে ম্যাপ করেছেন। আপনি যদি একটি নিয়মিতকরণ ফাংশন নির্দিষ্ট না করেন, তাহলে মডেলটি সম্পূর্ণরূপে ওভারফিট হয়ে যাবে। এর কারণ হল মডেলটি সমস্ত উদাহরণে ক্ষতি শূন্যে ড্রাইভ করার চেষ্টা করবে এবং সেখানে কখনই পৌঁছাবে না, প্রতিটি সূচক বৈশিষ্ট্যের ওজন +ইনফিনিটি বা -ইনফিনিটিতে ড্রাইভ করবে। এটি বৈশিষ্ট্য ক্রস সহ উচ্চমাত্রিক ডেটাতে ঘটতে পারে, যখন বিরল ক্রসগুলির একটি বিশাল ভর থাকে যা শুধুমাত্র একটি উদাহরণে ঘটে।
সৌভাগ্যবশত, L 2 ব্যবহার করা বা তাড়াতাড়ি বন্ধ করা এই সমস্যা প্রতিরোধ করবে।