با توسعه Perspective API که از یادگیری ماشینی برای شناسایی نظرات سمی استفاده می‌کند، بیاموزید که چگونه تیم Jigsaw با همکاری تیم فناوری مقابله با سوء استفاده Google با آزار و اذیت آنلاین مقابله کرد. سپس، از شاخص‌های انصاف برای ارزیابی مدل‌های ML و کمک به کاهش سوگیری ناخواسته در داده‌های آموزشی استفاده کنید.
مقدمه
Jigsaw واحدی در Alphabet است که فناوری ایجاد می کند تا جهان را ایمن تر کند. در سال 2017، تیم شروع به رسیدگی به آزار و اذیت آنلاین کرد و Perspective API را توسعه داد. هدف Perspective API افزایش مشارکت، کیفیت و همدلی مکالمه آنلاین در مقیاس است. توسعه‌دهندگان و ناشران می‌توانند از پرسپکتیو برای شناسایی و فیلتر کردن متنی استفاده کنند که از گفتگوی سازنده در انجمن‌های آنلاین با تجزیه و تحلیل محتوای نظرات برای متن‌های احتمالی توهین‌آمیز، از جمله تهدید، توهین، فحاشی، و زبان سمی جلوگیری می‌کند.
Perspective API متن نظر را به عنوان ورودی دریافت می کند و یک "امتیاز" را از 0 به 1 برمی گرداند که نشان دهنده احتمال شبیه بودن نظر به نظرات سمی است که در گذشته دیده شده است. نمره 0 به معنی 0٪ احتمال سمی بودن نظر، نمره 1 نشان دهنده احتمال 100٪ سمی بودن نظر و نمره 0.5 نشان دهنده احتمال 50٪ سمی بودن نظر است (یعنی مدل مطمئن نیستم).
بیان مسأله
پس از راه‌اندازی اولیه Perspective API، کاربران خارجی همبستگی مثبتی بین اصطلاحات هویت حاوی اطلاعات نژاد یا گرایش جنسی و نمره سمیت کشف کردند. به عنوان مثال، عبارت "من یک زن سیاهپوست همجنسگرا هستم" نمره سمیت 0.87 را دریافت کرد. در این مورد، اصطلاحات هویت به صورت تحقیرآمیز مورد استفاده قرار نمی‌گرفتند، بنابراین این مثال به اشتباه طبقه‌بندی شد. کجا همه چیز اشتباه شد؟