การระบุถึงการให้น้ําหนักพิเศษ

เมื่อทีม Jigsaw ประเมินโมเดลความเป็นพิษของ Perspective API เป็นครั้งแรก ทีมพบว่าประสิทธิภาพนั้นเหมาะกับชุดข้อมูลทดสอบ แต่ก็ยังเป็นกังวลอยู่ว่าการให้น้ําหนักพิเศษดังกล่าวอาจปรากฏในการคาดการณ์ของโมเดลหากมีข้อผิดพลาดใดๆ เกี่ยวกับข้อมูลการฝึก เพื่อให้ได้ความมั่นใจในคุณภาพของข้อมูลการฝึกอบรม พวกเขาได้ดําเนินการขั้นตอนเพิ่มเติมในการตรวจสอบป้ายกํากับที่เจ้าหน้าที่ประเมินเพื่อให้แน่ใจว่ามีความถูกต้องแม่นยํา

แต่ถึงแม้จะมีขั้นตอนการก้าวหน้าเชิงรุกเพื่อขจัดความลําเอียงในโมเดลข้อมูลการฝึก มันเกิดขึ้นได้อย่างไร

การตรวจสอบครั้งที่ 2 ของการฝึกอบรมนี้เผยให้เห็นว่าความคิดเห็นส่วนใหญ่มีคําเกี่ยวกับเชื้อชาติ ศาสนา และเพศ ป้ายกํากับเหล่านี้ถูกต้อง ความคิดเห็นออนไลน์ส่วนใหญ่ที่มีข้อมูลระบุตัวตนเหล่านี้มีพิษอย่างแท้จริง แต่ความบิดเบือนของโมเดลนี้ ทําให้โมเดลรู้ความสัมพันธ์ระหว่างการแสดงออกถึงตัวตนและความเป็นพิษเหล่านี้ ซึ่งไม่ได้แสดงถึงความหมายที่แท้จริงของคําเหล่านั้น

ทีมได้ค้นพบช่องว่างที่สําคัญในข้อมูลการฝึกอบรมของโมเดล ซึ่งเป็นด้านที่ไม่มีข้อมูลการฝึกอบรมเพียงพอที่จะแสดงถึงแง่มุมสําคัญของชีวิต ชุดการฝึกอบรมไม่ได้มีตัวอย่างความคิดเห็นเกี่ยวกับ ความเป็นพิษที่เพียงพอสําหรับโมเดลที่จะเรียนรู้ว่าคําๆ นั้นมีความเป็นกลางหรือไม่ และบริบทที่นักเรียนใช้นั้นเป็นสิ่งที่สําคัญ