การฝัง

การฝังเป็นพื้นที่ที่มีขนาดค่อนข้างต่ําซึ่งคุณแปลเวกเตอร์ที่มีมิติสูงได้ การฝังช่วยให้ทําแมชชีนเลิร์นนิง กับอินพุตขนาดใหญ่ได้ง่ายขึ้น เช่น เวกเตอร์ที่กระจัดกระจายแสดงถึงคําต่างๆ ตามหลักการแล้ว การฝังควรรวบรวมความหมายของอินพุตบางส่วนโดยการวางอินพุตที่มีความหมายคล้ายกันไว้ใกล้ๆ กันในพื้นที่ฝัง การฝังช่วยให้คุณเรียนรู้ และนํามาใช้ซ้ําได้ในรูปแบบต่างๆ

การฝัง

  • อินพุต: ภาพยนตร์ 1,000,000 เรื่องที่ผู้ใช้เลือกดู 500,000 คน
  • งาน: แนะนําภาพยนตร์ให้กับผู้ใช้

วิธีแก้ไขปัญหานี้จําเป็นต้องใช้วิธีการบางส่วนเพื่อพิจารณาว่าภาพยนตร์ใดภาพยนตร์เรื่องนี้คล้ายกัน

รายชื่อภาพยนตร์ที่เรียงลําดับในบรรทัดเดียวจากซ้ายไปขวา เริ่มด้วยทางด้านซ้าย, 'Shrek', 'The Infinites', 'The Triplets of Belleville', 'Herry Potter', 'Star Wars', 'Bleu's##knightและ

รายการภาพยนตร์เดียวกันในสไลด์ก่อนหน้านี้แต่จัดเรียงเป็น 2 มิติข้อมูล ตัวอย่างเช่น 'Shrek' อยู่ด้านซ้ายและเหนือของ 'ที่น่าทึ่ง

มีลักษณะคล้ายกับแผนภาพก่อนหน้า โดยมีแกนและป้ายกํากับสําหรับแต่ละจตุภาค การจัดเรียงภาพยนตร์มีดังนี้ ใน Quadrant แรกที่ด้านบนขวาคือภาพยนตร์สุดฮิตสําหรับผู้ใหญ่ที่มี 'Star Wars' และ 'The Dark Knight Rises' ที่มีภาพยนตร์ 'Hero' และ 'เสือ Crouching, มังกรซ่อนเร้น'เคยถูกที่ช่องสําหรับผู้ใหญ่ หนึ่งในสี่ส่วนขวาล่างคือสําหรับผู้ใหญ่ในภาพยนตร์ที่มีภาพยนตร์ 'Bleu' และ 'Memento' พร้อมด้วย 'Wake Life' เพิ่มเข้ามาใน Quadrant สําหรับผู้ใหญ่ ส่วน Quadrant ที่ 3 ที่อยู่ซ้ายล่างคือ Children Arthouse และมีภาพยนตร์เรื่อง The #39;The Triplets of Belleville ' & 'Wallace and Gromit' เพิ่มเข้ามาใน Quadrant ของ Children Arthouse หนึ่งในสี่และสุดท้ายในภาพด้านบนซ้ายคือ Kids Blockbusters ที่มี 'Shrek', 'The Infinites' และ 'Herry Potter' รวมถึงภาพยนตร์เรื่อง 'School of Rock&#39 ถูกเพิ่มลงใน Quadrant ของเด็ก

การจัดเรียงเหมือนกับสไลด์สุดท้าย 'Shrek' และ 'Bleu' ถูกไฮไลต์เป็นตัวอย่างของพิกัดในระนาบแบบฝังแบบ 2 มิติ

  • ถือว่าความสนใจของผู้ใช้ในภาพยนตร์อธิบายคร่าวๆ ได้หลายด้าน
  • ภาพยนตร์แต่ละเรื่องจะกลายเป็นจุด D-D ที่ค่าในมิติข้อมูล D แสดงถึงจํานวนภาพยนตร์ที่พอดีกับมุมมองดังกล่าว
  • คุณสามารถฝังข้อมูลได้จากแหล่งข้อมูล
  • ไม่จําเป็นต้องมีกระบวนการฝึกแยกต่างหาก - เลเยอร์แบบฝังเป็นเพียงเลเยอร์ที่ซ่อนอยู่ซึ่งมี 1 หน่วยต่อมิติข้อมูล
  • ข้อมูลที่มีการควบคุมดูแล (เช่น ผู้ใช้ดูภาพยนตร์ 2 เรื่องเรื่องเดียวกัน) จะปรับแต่งการฝังเนื้อหาที่เหมาะกับงานที่ต้องการ
  • จะเห็นได้ว่าหน่วยที่ซ่อนอยู่แสดงวิธีจัดระเบียบรายการในพื้นที่ D-D ในลักษณะที่จะเพิ่มประสิทธิภาพสําหรับวัตถุประสงค์สุดท้ายได้ดีที่สุด
  • ตัวอย่างแต่ละรายการ (แถวในเมทริกซ์นี้) เป็นเวกเตอร์ของคุณลักษณะ (ภาพยนตร์) ที่มีการดูเพียงเล็กน้อย
  • การนําเสนอที่หนาแน่นของตัวอย่างนี้เป็น (0, 1, 0, 1, 0, 0, 0, 1)

ไม่มีประสิทธิภาพในด้านพื้นที่และเวลา

ตารางที่ส่วนหัวของคอลัมน์แต่ละรายการเป็นภาพยนตร์ และแต่ละแถวคือผู้ใช้และภาพยนตร์ที่ผู้ใช้รายนั้นดู
  • สร้างพจนานุกรมพจนานุกรมสําหรับฟีเจอร์แต่ละรายการเป็นจํานวนเต็มตั้งแต่ 0, ..., # ภาพยนตร์ - 1
  • นําเสนอเวกเตอร์ที่กระจัดกระจายอย่างมีประสิทธิภาพเพียงภาพยนตร์ที่ผู้ใช้ดู ซึ่งอาจแสดงเป็น จากตําแหน่งของคอลัมน์ภาพยนตร์ในเวกเตอร์ที่กระจัดกระจายอยู่ทางด้านขวา ภาพยนตร์เรื่อง ' The Triplets จาก Belleville', 'Wallace and Gromit' และ 'Memento' แสดงได้อย่างมีประสิทธิภาพในรูปแบบ (0,1, 999999)
เวกเตอร์ที่มีบางส่วนแสดงถึงตารางโดยมีแต่ละคอลัมน์แสดงภาพยนตร์และแต่ละแถวแสดงถึงผู้ใช้ ตารางนี้มีภาพยนตร์จากแผนภาพก่อนหน้า โดยมีตัวเลขตั้งแต่ 1 ถึง 999999 ระบบจะตรวจสอบแต่ละเซลล์ของตารางถ้าผู้ใช้ดูภาพยนตร์แล้ว

ปัญหาการเกิดปัญหาซ้ําเพื่อคาดการณ์ราคาขายของบ้าน

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้คาดการณ์ราคาลดบ้าน

ปัญหาการเกิดปัญหาซ้ําเพื่อคาดการณ์ราคาขายของบ้าน

แผนภาพของเครือข่ายระบบประสาทแบบลึกที่ใช้คาดการณ์ราคาขายของบ้าน (ไฮไลต์การเข้ารหัสเวกเตอร์ที่มีน้อย)

ปัญหาการเกิดปัญหาซ้ําเพื่อคาดการณ์ราคาขายของบ้าน

แผนภาพของเครือข่ายระบบประสาทแบบลึกที่ใช้คาดการณ์ราคาขายของบ้าน (ไฮไลต์เลเยอร์การฝังแบบ 3 มิติที่ซ่อนอยู่)

ปัญหาการเกิดปัญหาซ้ําเพื่อคาดการณ์ราคาขายของบ้าน

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้คาดการณ์ราคาขายของบ้าน (ไฮไลต์ฟีเจอร์อินพุตละติจูดและลองจิจูดเพิ่มเติม)

ปัญหาการเกิดปัญหาซ้ําเพื่อคาดการณ์ราคาขายของบ้าน

แผนภาพของเครือข่ายโครงข่ายประสาทส่วนลึกที่ใช้คาดการณ์ราคาขายของบ้าน
  (ไฮไลต์ฟีเจอร์ป้อนข้อมูลลงในเลเยอร์ที่ซ่อนอยู่หลายชั้น)

ปัญหาการเกิดปัญหาซ้ําเพื่อคาดการณ์ราคาขายของบ้าน

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้คาดการณ์ราคาขายของบ้าน (ไฮไลต์ของเครือข่ายประสาทเทียมแบบลึก)

การจัดประเภทแบบหลายคลาสเพื่อคาดการณ์ตัวเลขที่เขียนด้วยลายมือ

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้คาดคะเนตัวเลขที่เขียนด้วยลายมือ

การจัดประเภทแบบหลายคลาสเพื่อคาดการณ์ตัวเลขที่เขียนด้วยลายมือ

แผนภาพโครงข่ายประสาทแบบลึกซึ่งใช้ในการคาดการณ์ตัวเลขที่เขียนด้วยลายมือ (ไฮไลต์การเข้ารหัสเวกเตอร์ที่กระจัดกระจาย)

การจัดประเภทแบบหลายคลาสเพื่อคาดการณ์ตัวเลขที่เขียนด้วยลายมือ

แผนภาพเครือข่ายระบบประสาทแบบลึกที่ใช้คาดคะเนตัวเลขที่เขียนด้วยลายมือ (ฟีเจอร์อื่นๆ ที่ไฮไลต์)

การจัดประเภทแบบหลายคลาสเพื่อคาดการณ์ตัวเลขที่เขียนด้วยลายมือ

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้คาดการณ์ตัวเลขที่เขียนด้วยลายมือ
  (ไฮไลต์การฝัง 3 มิติ)

การจัดประเภทแบบหลายคลาสเพื่อคาดการณ์ตัวเลขที่เขียนด้วยลายมือ

แผนภาพเครือข่ายระบบประสาทแบบลึกที่ใช้คาดคะเนตัวเลขที่เขียนด้วยลายมือ
  (ไฮไลต์เลเยอร์ที่ซ่อนอยู่)

การจัดประเภทแบบหลายคลาสเพื่อคาดการณ์ตัวเลขที่เขียนด้วยลายมือ

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้คาดคะเนตัวเลขที่เขียนด้วยลายมือ
  (ไฮไลต์ชั้นตรรกะ)

การจัดประเภทแบบหลายคลาสเพื่อคาดการณ์ตัวเลขที่เขียนด้วยลายมือ

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้คาดการณ์ตัวเลขที่เขียนด้วยลายมือ
  (ไฮไลต์ชั้นคลาสเป้าหมาย)

การกรองการทํางานร่วมกันเพื่อคาดการณ์ภาพยนตร์ที่จะแนะนํา:

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้คาดการณ์ภาพยนตร์ที่จะแนะนํา

การกรองการทํางานร่วมกันเพื่อคาดการณ์ภาพยนตร์ที่จะแนะนํา:

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้เพื่อคาดการณ์ภาพยนตร์ที่จะแนะนํา (ไฮไลต์เลเยอร์ชั้นเป้าหมาย)

การกรองการทํางานร่วมกันเพื่อคาดการณ์ภาพยนตร์ที่จะแนะนํา:

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้เพื่อคาดการณ์ภาพยนตร์ที่จะแนะนํา (ไฮไลต์การเข้ารหัสเวกเตอร์ที่กระจัดกระจาย)

การกรองการทํางานร่วมกันเพื่อคาดการณ์ภาพยนตร์ที่จะแนะนํา:

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้คาดการณ์ภาพยนตร์ที่จะแนะนํา (ไฮไลต์การฝังแบบ 3 มิติ)

การกรองการทํางานร่วมกันเพื่อคาดการณ์ภาพยนตร์ที่จะแนะนํา:

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้คาดการณ์ภาพยนตร์ที่จะแนะนํา (ฟีเจอร์อื่นๆ ที่ไฮไลต์)

การกรองการทํางานร่วมกันเพื่อคาดการณ์ภาพยนตร์ที่จะแนะนํา:

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้คาดการณ์ภาพยนตร์ที่จะแนะนํา (ไฮไลต์เลเยอร์ที่ซ่อนอยู่)

การกรองการทํางานร่วมกันเพื่อคาดการณ์ภาพยนตร์ที่จะแนะนํา:

แผนภาพโครงข่ายประสาทแบบลึกที่ใช้เพื่อคาดการณ์ภาพยนตร์ที่จะแนะนํา (ไฮไลต์เลเยอร์โลจิค)

เครือข่ายเชิงลึก

  • หน่วยที่ซ่อนแต่ละรายการจะสอดคล้องกับมิติข้อมูล (ฟีเจอร์แฝง)
  • น้ําหนักของขอบระหว่างภาพยนตร์และเลเยอร์ที่ซ่อนอยู่เป็นค่าพิกัด
  • แผนผังแผนผังโครงข่ายประสาทแบบลึกที่มีโหนดในเลเยอร์ต่ําสุดที่เชื่อมต่อกับจุด 3 จุดในเลเยอร์ที่สูงกว่านี้

มุมมองเรขาคณิตของการฝังภาพยนตร์ 1 เรื่อง

จุดในพื้นที่ 3 มิติที่สัมพันธ์กับโหนดเลเยอร์ด้านล่างในดิสก์โครงข่ายประสาทแบบลึก
  • การฝังแบบมิติที่สูงขึ้นสามารถแสดงความสัมพันธ์ระหว่างค่าที่ป้อนได้แม่นยํามากขึ้น
  • แต่มิติข้อมูลที่มากขึ้นจะเพิ่มโอกาสที่จะเกิดโอกาสมากเกินไปและนําไปสู่การฝึกที่ช้าลง
  • หลักการทั่วไป (เป็นจุดเริ่มต้นที่ดี แต่ควรปรับแต่งโดยใช้ข้อมูลการตรวจสอบ)
  • $$ dimensions \approx \sqrt[4]{possible\;values} $$
  • การฝังจะแมปรายการ (เช่น ภาพยนตร์ ข้อความ...) กับเวกเตอร์จริงที่มีมิติข้อมูลต่ําในลักษณะที่รายการคล้ายกันอยู่ใกล้กัน
  • การฝังยังมีผลกับข้อมูลที่มีความหนาแน่น (เช่น เสียง) เพื่อสร้างเมตริกที่คล้ายกันที่มีความหมายได้ด้วย
  • การฝังประเภทข้อมูลที่หลากหลายร่วมกัน (เช่น ข้อความ รูปภาพ เสียง...) จะกําหนดความคล้ายคลึงกันระหว่างข้อมูลแต่ละประเภท