লিনিয়ার রিগ্রেশন মডেলের মতোই একই প্রক্রিয়ায় লজিস্টিক রিগ্রেশন মডেল প্রশিক্ষণ দেওয়া হয়, তবে দুটি প্রধান পার্থক্য রয়েছে:
- লজিস্টিক রিগ্রেশন মডেলগুলো স্কয়ার্ড লসের পরিবর্তে লস ফাংশন হিসেবে লগ লস ব্যবহার করে।
- ওভারফিটিং প্রতিরোধ করার জন্য রেগুলারাইজেশন প্রয়োগ করা অত্যন্ত গুরুত্বপূর্ণ।
পরবর্তী অধ্যায়গুলোতে এই দুটি বিবেচ্য বিষয় আরও বিশদভাবে আলোচনা করা হয়েছে।
লগ লস
লিনিয়ার রিগ্রেশন মডিউলে , আপনি লস ফাংশন হিসেবে স্কয়ার্ড লস (যাকে L2 লসও বলা হয়) ব্যবহার করেছেন। স্কয়ার্ড লস এমন একটি লিনিয়ার মডেলের জন্য ভালোভাবে কাজ করে যেখানে আউটপুট মানগুলোর পরিবর্তনের হার স্থির থাকে। উদাহরণস্বরূপ, $y' = b + 3x_1$ লিনিয়ার মডেলটির ক্ষেত্রে, প্রতিবার আপনি ইনপুট মান $x_1$ ১ করে বাড়ালে, আউটপুট মান $y'$ ৩ করে বেড়ে যায়।
তবে, একটি লজিস্টিক রিগ্রেশন মডেলের পরিবর্তনের হার স্থির থাকে না । যেমনটি আপনি 'সম্ভাবনা গণনা' অংশে দেখেছেন, সিগময়েড কার্ভটি রৈখিক না হয়ে S-আকৃতির হয়। যখন লগ-অডস ($z$) এর মান ০-এর কাছাকাছি থাকে, তখন $z$-এর সামান্য বৃদ্ধি $y$-তে অনেক বড় পরিবর্তন ঘটায়, যা $z$ একটি বড় ধনাত্মক বা ঋণাত্মক সংখ্যা হওয়ার ক্ষেত্রে ঘটে না। নিচের সারণিতে ৫ থেকে ১০ পর্যন্ত ইনপুট মানের জন্য সিগময়েড ফাংশনের আউটপুট এবং ফলাফলের পার্থক্যগুলো সঠিকভাবে নির্ণয়ের জন্য প্রয়োজনীয় নির্ভুলতা দেখানো হয়েছে।
| ইনপুট | লজিস্টিক আউটপুট | প্রয়োজনীয় নির্ভুলতার অঙ্ক |
|---|---|---|
| ৫ | ০.৯৯৩ | ৩ |
| ৬ | ০.৯৯৭ | ৩ |
| ৭ | ০.৯৯৯ | ৩ |
| ৮ | ০.৯৯৯৭ | ৪ |
| ৯ | ০.৯৯৯৯ | ৪ |
| ১০ | ০.৯৯৯৯৮ | ৫ |
সিগময়েড ফাংশনের ত্রুটি গণনা করার জন্য যদি আপনি স্কয়ার্ড লস ব্যবহার করেন, তাহলে আউটপুট যখন 0 এবং 1 এর ক্রমশ কাছাকাছি আসতে থাকবে, তখন এই মানগুলোকে ট্র্যাক করার জন্য প্রয়োজনীয় নির্ভুলতা বজায় রাখতে আপনার আরও বেশি মেমরির প্রয়োজন হবে।
এর পরিবর্তে, লজিস্টিক রিগ্রেশনের লস ফাংশন হলো লগ লস (Log Loss )। লগ লস সমীকরণটি শুধু ডেটা থেকে প্রেডিকশনের দূরত্বের পরিবর্তে, পরিবর্তনের মাত্রার লগারিদম প্রদান করে। লগ লস নিম্নোক্তভাবে গণনা করা হয়:
লগ লস = - (1/N) Σᵢ=1ᵀ [yᵢ log(yᵢ') + (1 - yᵢ) log(1 - yᵢ')]