การถดถอยแบบโลจิสติก

แทนที่จะคาดการณ์ 0 0 หรือ 1 อย่างชัดเจน การถดถอยแบบโลจิสติกส์จะทําให้เกิดความน่าจะเป็นที่มีค่าระหว่าง 0 ถึง 1 เช่น ลองพิจารณาโมเดลการเกิดปัญหาซ้ําสําหรับการตรวจหาสแปม ถ้าโมเดลมีการอนุมานค่า 0.932 ในข้อความอีเมลหนึ่ง ก็แสดงว่ามีความเป็นไปได้ 93.2% ที่ข้อความอีเมลเป็นสแปม กล่าวอย่างเจาะจงก็คือ ในส่วนของตัวอย่างการฝึกแบบไม่จํากัดนั้น ชุดตัวอย่างที่โมเดลคาดการณ์ 0.932 จะเป็นสแปม 93.2% จากจํานวนครั้งทั้งหมด และ 6.8% ที่เหลือจะไม่ทําเช่นนั้น

การถดถอยแบบโลจิสติก

  • ลองนึกถึงปัญหาในการคาดการณ์ความน่าจะเป็นของ Heads สําหรับเหรียญงอ
  • คุณอาจใช้ฟีเจอร์ต่างๆ เช่น มุมโค้ง มวลเหรียญ ฯลฯ
  • รูปแบบที่ง่ายที่สุดที่คุณใช้ได้คืออะไร
  • จะมีอะไรผิดพลาดบ้าง
งอ 2 เหรียญ
  • หลายปัญหาจําเป็นต้องใช้ค่าประมาณความน่าจะเป็นเป็นเอาต์พุต
  • ป้อนการถดถอยแบบโลจิสติกส์
  • หลายปัญหาจําเป็นต้องใช้ค่าประมาณความน่าจะเป็นเป็นเอาต์พุต
  • ป้อนการถดถอยแบบโลจิสติกส์
  • มีประโยชน์เนื่องจากการประมาณความน่าจะเป็นมีการปรับเทียบ
    • เช่น p(เฮาส์จะขาย) * ราคา = ผลลัพธ์ที่คาดหวัง
  • หลายปัญหาจําเป็นต้องใช้ค่าประมาณความน่าจะเป็นเป็นเอาต์พุต
  • ป้อนการถดถอยแบบโลจิสติกส์
  • มีประโยชน์เนื่องจากการประมาณความน่าจะเป็นมีการปรับเทียบ
    • เช่น p(เฮาส์จะขาย) * ราคา = ผลลัพธ์ที่คาดหวัง
  • และมีประโยชน์ในกรณีที่เราต้องการการจัดประเภทไบนารี
    • เป็นสแปมหรือไม่ → p(สแปม)

$$ y' = \frac{1}{1 + e^{-(w^Tx+b)}} $$

\(\text{Where:} \) \(x\text{: Provides the familiar linear model}\) \(1+e^{-(...)}\text{: Squish through a sigmoid}\)

กราฟของสมการการถดถอยแบบโลจิสติก

$$ LogLoss = \sum_{(x,y)\in D} -y\,log(y') - (1 - y)\,log(1 - y') $$

กราฟ 2 รายการของลอการิทึมเทียบกับค่าที่คาดการณ์: กราฟหนึ่งสําหรับค่าเป้าหมาย 0.0 (ซึ่งแสดงว่ากราฟชี้ขึ้นและไปทางขวา) และอีกกราฟหนึ่งสําหรับค่าเป้าหมายเป็น 1.0 (ซึ่งกราฟโค้งลงและไปทางซ้าย)
  • การปรับให้สอดคล้องตามข้อกําหนดนั้นเป็นสิ่งที่สําคัญอย่างยิ่งในการถดถอยแบบโลจิสติก
    • จดจําอุปสรรค
    • ระบบจะพยายามเพิ่มการสูญเสียเป็น 0 ในมิติข้อมูลระดับสูงต่อไป
  • การปรับให้สอดคล้องตามข้อกําหนดนั้นเป็นสิ่งที่สําคัญอย่างยิ่งในการถดถอยแบบโลจิสติก
    • จดจําอุปสรรค
    • ระบบจะพยายามเพิ่มการสูญเสียเป็น 0 ในมิติข้อมูลระดับสูงต่อไป
  • กลยุทธ์ 2 ข้อที่มีประโยชน์อย่างยิ่งมีดังนี้
    • L2 การปรับให้เป็นมาตรฐาน (ที่รู้จักกันในชื่อ L2 น้ําหนักที่ลดลง) - ทําให้น้ําหนักลดลงอย่างมาก
    • การหยุดกลางคัน - การจํากัดขั้นตอนการฝึกอบรมหรืออัตราการเรียนรู้
  • การถดถอยแบบโลจิสติกส์เชิงเส้นมีประสิทธิภาพมาก
    • เวลาการฝึกและการคาดการณ์ที่เร็วมาก
    • โมเดลขนาดสั้น / กว้างใช้ RAM จํานวนมาก