আপনার বোঝাপড়া পরীক্ষা করুন: পক্ষপাত সনাক্ত করা এবং প্রতিকার করা
পক্ষপাত সনাক্তকরণ
অনুশীলনী #1: মডেল অন্বেষণ করুন , আপনি নিশ্চিত করেছেন যে মডেলটি অসামঞ্জস্যপূর্ণভাবে বিষাক্ত হিসাবে পরিচয় পদ সহ মন্তব্যগুলিকে শ্রেণীবদ্ধ করছে৷ কোন মেট্রিক্স এই পক্ষপাতের কারণ ব্যাখ্যা করতে সাহায্য করে? নীচের বিকল্পগুলি অন্বেষণ করুন.
সঠিকতা
নির্ভুলতা মোট ভবিষ্যদ্বাণীর শতকরা পরিমাপ করে যা সঠিক - ভবিষ্যদ্বাণীর শতকরা যা সত্য ইতিবাচক বা সত্যিকারের নেতিবাচক। বিভিন্ন উপগোষ্ঠীর (যেমন বিভিন্ন লিঙ্গ জনসংখ্যার) নির্ভুলতার তুলনা করা আমাদের প্রতিটি গোষ্ঠীর জন্য মডেলের আপেক্ষিক কর্মক্ষমতা মূল্যায়ন করতে দেয় এবং একটি মডেলের উপর পক্ষপাতের প্রভাবের সূচক হিসাবে কাজ করতে পারে।
যাইহোক, যেহেতু নির্ভুলতা সঠিক এবং ভুল ভবিষ্যদ্বাণীকে সামগ্রিকভাবে বিবেচনা করে, এটি দুই ধরনের সঠিক ভবিষ্যদ্বাণী এবং দুই ধরনের ভুল ভবিষ্যদ্বাণীর মধ্যে পার্থক্য করে না। শুধুমাত্র নির্ভুলতার দিকে তাকালে, আমরা প্রকৃত ইতিবাচক, সত্য নেতিবাচক, মিথ্যা ইতিবাচক এবং মিথ্যা নেতিবাচকগুলির অন্তর্নিহিত ভাঙ্গনগুলি নির্ধারণ করতে পারি না, যা পক্ষপাতের উত্স সম্পর্কে আরও অন্তর্দৃষ্টি প্রদান করবে।
মিথ্যা ইতিবাচক হার
মিথ্যা ইতিবাচক হার (FPR) হল প্রকৃত-নেতিবাচক উদাহরণের শতাংশ (অ-বিষাক্ত মন্তব্য) যা ভুলভাবে ইতিবাচক (বিষাক্ত মন্তব্য) হিসাবে শ্রেণীবদ্ধ করা হয়েছিল। FPR হল মডেলের উপর পক্ষপাতের প্রভাবের একটি সূচক। যখন আমরা বিভিন্ন উপগোষ্ঠীর (যেমন বিভিন্ন লিঙ্গ জনসংখ্যার) জন্য FPR-এর তুলনা করি, তখন আমরা শিখি যে লিঙ্গ সম্পর্কিত পরিচয়ের শর্তাবলী ধারণ করে এমন পাঠ্য মন্তব্যগুলিকে ভুলভাবে বিষাক্ত (মিথ্যা ইতিবাচক) হিসাবে শ্রেণীবদ্ধ করার সম্ভাবনা বেশি থাকে যেগুলিতে এই পদগুলি নেই৷ .
যাইহোক, আমরা পক্ষপাতের প্রভাব পরিমাপ করতে চাই না; আমরা তার কারণ খুঁজে পেতে চাই। এটি করার জন্য, আমাদের FPR সূত্রের ইনপুটগুলি ঘনিষ্ঠভাবে দেখতে হবে।
প্রকৃত নেতিবাচক এবং প্রকৃত ইতিবাচক
এই মডেলের প্রশিক্ষণ এবং পরীক্ষার ডেটাসেটে, প্রকৃত ইতিবাচক মন্তব্যের সমস্ত উদাহরণ যা বিষাক্ত, এবং প্রকৃত নেতিবাচক সমস্ত উদাহরণ যা অ-বিষাক্ত। প্রদত্ত যে পরিচয় পদগুলি নিজেরাই নিরপেক্ষ, আমরা একটি প্রদত্ত পরিচয় শব্দ সহ প্রকৃত-নেতিবাচক এবং প্রকৃত-ইতিবাচক মন্তব্যগুলির একটি ভারসাম্যপূর্ণ সংখ্যক আশা করব৷ যদি আমরা প্রকৃত নেতিবাচকের একটি অসমনুপাতিকভাবে কম সংখ্যক দেখতে পাই, তবে এটি আমাদের বলে যে মডেলটি ইতিবাচক বা নিরপেক্ষ প্রসঙ্গে ব্যবহৃত পরিচয় পদগুলির খুব বেশি উদাহরণ দেখতে পায়নি। সেই ক্ষেত্রে, মডেলটি পরিচয় পদ এবং বিষাক্ততার মধ্যে একটি সম্পর্ক শিখতে পারে।
স্মরণ করুন
রিকল হল প্রকৃত ইতিবাচক ভবিষ্যদ্বাণীর শতাংশ যা সঠিকভাবে ইতিবাচক হিসাবে শ্রেণীবদ্ধ করা হয়েছিল। এটি আমাদের মডেলটি সফলভাবে ধরা বিষাক্ত মন্তব্যের শতাংশ বলে। এখানে, আমরা মিথ্যা ইতিবাচক (ননটক্সিক মন্তব্য যেগুলিকে বিষাক্ত হিসাবে শ্রেণীবদ্ধ করা হয়েছিল) সম্পর্কিত পক্ষপাত নিয়ে উদ্বিগ্ন, এবং প্রত্যাহার এই সমস্যার কোনও অন্তর্দৃষ্টি প্রদান করে না।
প্রতিকার করা পক্ষপাত
ব্যায়াম #1 এবং ব্যায়াম #2- এ ব্যবহৃত প্রশিক্ষণের ডেটাতে পক্ষপাত দূর করার কার্যকর পদ্ধতি নিচের কোনটি হতে পারে? নীচের বিকল্পগুলি অন্বেষণ করুন.
প্রশিক্ষণ সেটে পরিচয় শর্তাবলী সম্বলিত আরও নেতিবাচক (ননটক্সিক) উদাহরণ যোগ করুন।
আরও নেতিবাচক উদাহরণ যোগ করা (মন্তব্য যেগুলি আসলে অ-বিষাক্ত) যার মধ্যে পরিচয়ের শর্ত রয়েছে তা প্রশিক্ষণ সেটের ভারসাম্য বজায় রাখতে সাহায্য করবে। মডেলটি তখন বিষাক্ত এবং অ-বিষাক্ত প্রসঙ্গে ব্যবহৃত পরিচয় পদগুলির একটি ভাল ভারসাম্য দেখতে পাবে, যাতে এটি শিখতে পারে যে পদগুলি নিজেই নিরপেক্ষ।
প্রশিক্ষণ সেটে পরিচয় পদ সম্বলিত আরও ইতিবাচক (বিষাক্ত) উদাহরণ যোগ করুন।
বিষাক্ত উদাহরণগুলি ইতিমধ্যে পরিচয়ের শর্তাবলী সহ উদাহরণগুলির উপসেটে অতিরিক্তভাবে উপস্থাপন করা হয়েছে৷ যদি আমরা প্রশিক্ষণ সেটে এই উদাহরণগুলির মধ্যে আরও বেশি যোগ করি, তাহলে আমরা প্রকৃতপক্ষে এটির প্রতিকার না করে বিদ্যমান পক্ষপাতকে আরও বাড়িয়ে তুলব।
প্রশিক্ষণ সেটে পরিচয় শর্তাদি ছাড়া আরও নেতিবাচক (ননটক্সিক) উদাহরণ যোগ করুন।
পরিচয়ের শর্তাবলী ইতিমধ্যেই নেতিবাচক উদাহরণে উপস্থাপিত হয়েছে। পরিচয় শর্তাবলী ছাড়া আরো নেতিবাচক উদাহরণ যোগ করা এই ভারসাম্যহীনতা বৃদ্ধি করবে এবং পক্ষপাতের প্রতিকার করতে সাহায্য করবে না।
প্রশিক্ষণ সেটে পরিচয় শর্ত ছাড়া আরও ইতিবাচক (বিষাক্ত) উদাহরণ যোগ করুন।
এটা সম্ভব যে পরিচয় শর্তাদি ছাড়া আরও ইতিবাচক উদাহরণ যোগ করা পরিচয় শর্তাবলী এবং বিষাক্ততার মধ্যে সম্পর্ক ভাঙতে সাহায্য করতে পারে যা মডেলটি আগে শিখেছিল।
বায়াস জন্য মূল্যায়ন
আপনি স্ক্র্যাচ থেকে আপনার নিজস্ব পাঠ্য-বিষাক্ততার শ্রেণীবিভাগকে প্রশিক্ষিত করেছেন, যা আপনার প্রকৌশল দল বিষাক্ত হিসাবে শ্রেণীবদ্ধ মন্তব্যের প্রদর্শন স্বয়ংক্রিয়ভাবে দমন করতে ব্যবহার করার পরিকল্পনা করেছে। আপনি উদ্বিগ্ন যে লিঙ্গ-সম্পর্কিত মন্তব্যের জন্য বিষাক্ততার প্রতি কোনো পক্ষপাত লিঙ্গ সম্পর্কে অ-বিষাক্ত বক্তৃতাকে দমন করতে পারে, এবং শ্রেণীবদ্ধকারীর ভবিষ্যদ্বাণীতে লিঙ্গ-সম্পর্কিত পক্ষপাত মূল্যায়ন করতে চান। মডেলের মূল্যায়ন করতে নিচের কোন মেট্রিক্স ব্যবহার করা উচিত? নীচের বিকল্পগুলি অন্বেষণ করুন.
মিথ্যা ইতিবাচক হার (FPR)
উৎপাদনে, মডেলটি স্বয়ংক্রিয়ভাবে ইতিবাচক (বিষাক্ত) ভবিষ্যদ্বাণী দমন করতে ব্যবহার করা হবে। আপনার লক্ষ্য হল মডেলটি মিথ্যা ইতিবাচক (ননটক্সিক মন্তব্য যা মডেলটি বিষাক্ত হিসাবে ভুল শ্রেণীবদ্ধ করা হয়েছে) দমন করছে না তা নিশ্চিত করা লিঙ্গ-সম্পর্কিত মন্তব্যের জন্য সামগ্রিক মন্তব্যের চেয়ে বেশি হারে। সামগ্রিক FPR-এর সাথে লিঙ্গ উপগোষ্ঠীর জন্য FPR-এর তুলনা করা আপনার ব্যবহারের ক্ষেত্রে পক্ষপাতের প্রতিকারের মূল্যায়ন করার একটি দুর্দান্ত উপায়।
মিথ্যা নেতিবাচক হার (FNR)
FNR সেই হার পরিমাপ করে যে মডেলটি ইতিবাচক শ্রেণীকে (এখানে, "বিষাক্ত") নেতিবাচক শ্রেণী ("ননটক্সিক") হিসাবে ভুল শ্রেণিবদ্ধ করে। এই ব্যবহারের ক্ষেত্রে, এটি আপনাকে বলে যে প্রকৃতপক্ষে বিষাক্ত মন্তব্যগুলি ফিল্টারের মাধ্যমে স্লিপ হবে এবং ব্যবহারকারীদের কাছে প্রদর্শিত হবে৷ এখানে, আপনার প্রাথমিক উদ্বেগ হল অ-বিষাক্ত বক্তৃতার দমনের ক্ষেত্রে পক্ষপাত কীভাবে প্রকাশ পায়। FNR আপনাকে মডেলের কর্মক্ষমতার এই মাত্রা সম্পর্কে কোনো অন্তর্দৃষ্টি দেয় না।
সঠিকতা
নির্ভুলতা মডেল ভবিষ্যদ্বাণীগুলির শতাংশের পরিমাপ করে যা সঠিক ছিল, এবং বিপরীতভাবে, ভবিষ্যদ্বাণীগুলির শতাংশ যা ভুল ছিল। এই ব্যবহারের ক্ষেত্রে, নির্ভুলতা আপনাকে বলে যে এটি কতটা সম্ভব যে ফিল্টারটি অ-বিষাক্ত বক্তৃতা দমন করেছে বা বিষাক্ত বক্তৃতা প্রদর্শন করেছে৷ আপনার প্রাথমিক উদ্বেগ হল পূর্বের সমস্যা, পরেরটি নয়। যেহেতু নির্ভুলতা দুটি সমস্যাকে একত্রিত করে, তাই এখানে ব্যবহার করার জন্য এটি আদর্শ মূল্যায়ন মেট্রিক নয়।
AUC
AUC একটি মডেলের ভবিষ্যদ্বাণী করার ক্ষমতার একটি পরম পরিমাপ প্রদান করে। সামগ্রিক কর্মক্ষমতা মূল্যায়নের জন্য এটি একটি ভাল মেট্রিক। যাইহোক, এখানে আপনি মন্তব্য দমনের হার নিয়ে বিশেষভাবে উদ্বিগ্ন, এবং AUC আপনাকে এই সমস্যাটির সরাসরি অন্তর্দৃষ্টি দেয় না।
আপনার দলে একজন বিষয়বস্তু মডারেটর যোগ করা হয়েছে, এবং পণ্য ব্যবস্থাপক আপনার শ্রেণীবদ্ধকারীকে কীভাবে স্থাপন করা হবে তা পরিবর্তন করার সিদ্ধান্ত নিয়েছে। বিষাক্ত হিসাবে শ্রেণীবদ্ধ মন্তব্যগুলিকে স্বয়ংক্রিয়ভাবে দমন করার পরিবর্তে, ফিল্টারিং সফ্টওয়্যার এই মন্তব্যগুলিকে বিষয়বস্তু মডারেটরকে পর্যালোচনা করার জন্য ফ্ল্যাগ করবে৷ যেহেতু একজন মানুষ বিষাক্ত হিসাবে লেবেলযুক্ত মন্তব্যগুলি পর্যালোচনা করবে, তাই পক্ষপাত আর বিষয়বস্তু দমনের আকারে প্রকাশ পাবে না। পক্ষপাতিত্ব পরিমাপ করতে নিচের কোন মেট্রিক ব্যবহার করতে পারেন—এবং পক্ষপাতের প্রতিকারের প্রভাব—এখন? নীচের বিকল্পগুলি অন্বেষণ করুন.
মিথ্যা ইতিবাচক হার (FPR)
মিথ্যা ইতিবাচক হার আপনাকে অ-বিষাক্ত মন্তব্যের শতাংশ বলে দেবে যা বিষাক্ত হিসাবে ভুল শ্রেণিবদ্ধ করা হয়েছিল। যেহেতু একজন মানব মডারেটর এখন মডেল লেবেলগুলি "বিষাক্ত" সমস্ত মন্তব্যের অডিট করবে এবং বেশিরভাগ মিথ্যা ইতিবাচক ধরতে হবে, তাই FPR আর একটি প্রাথমিক উদ্বেগের বিষয় নয়৷
মিথ্যা নেতিবাচক হার (FNR)
যদিও একজন মানব মডারেটর "বিষাক্ত" লেবেলযুক্ত সমস্ত মন্তব্যের অডিট করবে এবং নিশ্চিত করবে যে মিথ্যা ইতিবাচকগুলিকে চাপা দেওয়া হয় না, তারা "অবিষাক্ত" লেবেলযুক্ত মন্তব্যগুলি পর্যালোচনা করবে না। এটি মিথ্যা নেতিবাচক সম্পর্কিত পক্ষপাতের সম্ভাবনাকে উন্মুক্ত করে। আপনি FNR ব্যবহার করতে পারেন (প্রকৃত ইতিবাচকের শতাংশ যা নেতিবাচক হিসাবে শ্রেণীবদ্ধ করা হয়েছিল) পদ্ধতিগতভাবে মূল্যায়ন করতে পারেন যে লিঙ্গ উপগোষ্ঠীর জন্য বিষাক্ত মন্তব্যগুলি সামগ্রিক মন্তব্যের চেয়ে অ-বিষাক্ত হিসাবে লেবেল হওয়ার সম্ভাবনা বেশি।
যথার্থতা
নির্ভুলতা আপনাকে ইতিবাচক ভবিষ্যদ্বাণীর শতাংশ বলে দেয় যা আসলে ইতিবাচক—এই ক্ষেত্রে, "বিষাক্ত" ভবিষ্যদ্বাণীগুলির শতাংশ যা সঠিক। যেহেতু একজন মানব মডারেটর সমস্ত "বিষাক্ত" ভবিষ্যদ্বাণীগুলি নিরীক্ষণ করবে, তাই আপনাকে আপনার প্রাথমিক মূল্যায়ন মেট্রিকগুলির মধ্যে একটি নির্ভুলতা তৈরি করতে হবে না৷
স্মরণ করুন
রিকল আপনাকে প্রকৃত ইতিবাচকের শতাংশ বলে দেয় যা সঠিকভাবে শ্রেণীবদ্ধ করা হয়েছিল। এই মান থেকে, আপনি প্রকৃত ইতিবাচকের শতাংশ বের করতে পারেন যা ভুল শ্রেণীবদ্ধ করা হয়েছে (1 – প্রত্যাহার), যা লিঙ্গ-সম্পর্কিত বিষাক্ত মন্তব্যগুলি সামগ্রিক মন্তব্যের তুলনায় "অনটক্সিক" হিসাবে অসামঞ্জস্যপূর্ণভাবে ভুল শ্রেণিবদ্ধ করা হয়েছে কিনা তা নির্ধারণের জন্য একটি দরকারী মেট্রিক।