אתחול רשת נוירונים

התרגיל הזה משתמש שוב בנתוני XOR, אבל בוחן את החזרה של אימון רשתות נוירונים וחשיבות האתחול.

משימה 1: מריצים את המודל כפי שניתן ארבע או חמש פעמים. לפני כל ניסיון, ללחוץ על הלחצן איפוס הרשת כדי לקבל אתחול אקראי חדש. (הלחצן איפוס הרשת הוא חץ האיפוס המעגלי מימין ללחצן ההפעלה.) כל ניסיון יכול לפעול במשך 500 שלבים לפחות כדי להבטיח התכנסות. לאיזו צורה מתכנס כל פלט של מודל? מה זה אומר על התפקיד של אתחול במצב לא קמור אופטימיזציה?

משימה 2: נסו להפוך את המודל למורכב קצת יותר על ידי הוספת שכבה ועוד כמה צמתים. חוזרים על הניסיונות שביצעתם במשימה 1. האם זה להוסיף לתוצאות יציבות?

(התשובות מופיעות מתחת לתרגיל).