קל לארגן דפים בעזרת אוספים
אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.
הפצה לאחור הוא אלגוריתם האימון הנפוץ ביותר לאימון רשתות נוירונים.
ברשתות נוירונים רב-שכבתיות אפשר לבצע ירידה הדרגתית.
TensorFlow מטפל אוטומטית בהפצה לאחור, כך שלא צריך להבין לעומק את האלגוריתם. כדי להבין איך זה עובד, קראו את המאמר הסבר חזותי לאלגוריתם של הפצת גיבויים.
כשתגללו לאורך ההסבר הקודם, שימו לב לדברים הבאים:
האופן שבו הנתונים זורמים בתרשים.
איך תכנות דינמי מאפשר לנו להימנע מחישוב אקספוננציאלי של נתיבים רבים בתרשים. במקרה הזה, המושג "תכנות דינמי" פירושו תיעוד של תוצאות הביניים
במעברים קדימה ואחורה.
רשתות נוירונים לאימון
רקע: מה שצריך לדעת
יש חשיבות למעברי צבעים
אם זה עוזר, סביר להניח שנוכל ללמוד על זה
רקע: מה שצריך לדעת
יש חשיבות למעברי צבעים
אם זה עוזר, סביר להניח שנוכל ללמוד על זה
צבעים הדרגתיים עלולים להיעלם
כל שכבה נוספת יכולה להפחית ברצף את האות לעומת הרעש.
ReLus שימושיים כאן
רקע: מה שצריך לדעת
יש חשיבות למעברי צבעים
אם זה עוזר, סביר להניח שנוכל ללמוד על זה
צבעים הדרגתיים עלולים להיעלם
כל שכבה נוספת יכולה להפחית ברצף את האות לעומת הרעש.
ReLus שימושיים כאן
צבעים הדרגתיים יכולים להתפוצץ
שיעורי הלמידה חשובים כאן
נירמול בכמות גדולה (לחצן שימושי) יכול לעזור
רקע: מה שצריך לדעת
יש חשיבות למעברי צבעים
אם זה עוזר, סביר להניח שנוכל ללמוד על זה
צבעים הדרגתיים עלולים להיעלם
כל שכבה נוספת יכולה להפחית ברצף את האות לעומת הרעש.
ReLus שימושיים כאן
צבעים הדרגתיים יכולים להתפוצץ
שיעורי הלמידה חשובים כאן
נירמול בכמות גדולה (לחצן שימושי) יכול לעזור
שכבות ReLu יכולות למות
שומרים על רוגע ומורידים את שיעורי הלמידה
נרמול ערכי התכונות
אנחנו רוצים שהתכונות שלנו יהיו בקנה מידה סביר
הטווח של [-1, 1], שנמצא בערך במרכז אפס, פועל לעיתים קרובות טוב
עוזר להתמזגת בירידה הדרגתית; הימנעות ממלכודת NaN
הימנעות מערכים חריגים יכולה גם לעזור
אפשר להשתמש בכמה שיטות סטנדרטיות:
קנה מידה לינארי
מכסה קשיחה (התאמה) למקסימום, דקות
שינוי גודל ביומן
רצף נוטשים
נשירה: צורה נוספת של רגולטור, שימושית ל-NN
פועלת על ידי 'שחרור' אקראי של יחידות ברשת עבור שלב אחד הדרגתי
