אמצעי בקרה על עלויות

בדף הזה מוסבר איך להגדיר מגבלות יומיות ולעקוב אחרי זמן EECU בתהליך כדי לשלוט בעלויות החישוב ב-Earth Engine.

הגבלת זמן השימוש היומי ב-EECU

כדי לעזור לכם לשלוט בעלויות של Earth Engine, אתם יכולים להגדיר מגבלה על כמות הזמן ב-EECU שהפרויקט יכול לצרוך ביום. לשם כך, צריך לעדכן את מכסת Cloud הבאה:

• ‫Earth Engine compute time (EECU-time) per day in seconds: מכסה ברמת הפרויקט שמגבילה את הזמן המצטבר של כל המשתמשים בפרויקט ב-EECU.

מידע נוסף על מכסות Earth Engine שאפשר להגדיר זמין במאמר בנושא מכסות Earth Engine.

הערה: המכסה הזו היא משוערת. התקציב נועד להגן מפני הוצאות מוגזמות, אבל הוא לא נועד להגביל את זמן השימוש ביחידות EECU. יכול להיות שב-Earth Engine תופעל מדי פעם שאילתה שחורגת ממגבלת המכסה.

הגדרת מגבלה יומית

אפשר לראות ולערוך את המכסות בדף Quotas & System Limits במסוף Google Cloud. כשמשנים את המכסה, השינוי מתעדכן תוך כמה דקות. כדי להגדיר או לעדכן מגבלה יומית:

1. מוודאים שיש לכם את ההרשאות לשינוי המכסות בפרויקט בפרויקט שבחרתם.
2. נכנסים לדף Quotas במסוף Google Cloud.
3. משתמשים במסנן Metric בתיבת החיפוש Filter כדי לסנן לפי earthengine.googleapis.com/daily_eecu_usage_time. אם לא מופיסה מכסת Earth Engine compute time (EECU-time) per day in seconds, צריך לוודא שהפעלתם את Earth Engine API בפרויקט שבחרתם.
4. בתפריט האפשרויות הנוספות (3 נקודות), לוחצים על עריכת המכסה.
5. אם תיבת הסימון ללא הגבלה מסומנת, מבטלים את הסימון שלה.
6. בשדה New value, מזינים את המגבלה הרצויה ביחידות של שניות EECU. לוחצים על שליחת בקשה.

מידע נוסף על הצגה וניהול של מכסות זמין במאמר הצגה וניהול של מכסות.

הודעות השגיאה שמוחזרות

אחרי שמגדירים מגבלה יומית, אם חורגים ממנה, Earth Engine מחזיר את הודעת השגיאה הבאה:

השימוש שלך חרג מהמכסה המותאמת אישית של 'earthengine.googleapis.com/daily_eecu_usage_time', שאפשר לשנות אותה דרך האדמין במסוף Google Cloud:‏ https://console.cloud.google.com/quotas/?project=_.

אם חורגים מהמכסה, הבקשות ל-Earth Engine ייכשלו עד שהמכסה תתאפס ביום הבא או עד שאדמין יגדיל את המגבלה.

מעקב והתראות ברמת פירוט גבוהה

אם אתם צריכים לשלוט בעלויות ולעקוב אחריהן ברמת פירוט גבוהה יותר מאשר המגבלה היומית, תצטרכו להגדיר את המתכונים הבאים, אבל הם יאפשרו לכם לקבל התראות ולבטל את המשימות ברמה של workload_tag וברמת המשימות בקבוצות.

במתכונים האלה נעשה שימוש במעקב אחר זמן EECU שנמצא בתהליך, שמוצג עבור בקשות שפועלות. מידע נוסף על דיווח על זמן EECU בתהליך ב-Cloud Monitoring זמין במדריך בנושא שימוש ב-Monitoring.

הגדרת התראות

אתם יכולים להגדיר התראות ב-Cloud Monitoring כדי לקבל אזהרה כשמדד מגיע לסף מסוים. מערכת ההתראות של Cloud Monitoring היא גמישה מאוד. ריכזנו כאן כמה מהמתכונים האהובים עלינו, אבל אתם יכולים להשתמש בהגדרות מותאמות אישית שמתאימות לצרכים שלכם.

מתכון: התראה בצ'אט על שימוש ב-workload_tag

בדוגמה הזו מוצג איך להגדיר התראה בצ'אט (למשל, הודעה ב-Google Chat או הודעה ב-Slack) אם השימוש ב-Earth Engine לצורך חישובים עבור workload_tag מסוים חורג מסף מסוים. האפשרות הזו יכולה להיות שימושית אם יש לכם קבוצה של משימות ייצוא שיוצרות נתונים לשירות הייצור שלכם, ואתם רוצים לקבל התראה אם הן צורכות ביחד יותר מכמות מסוימת של זמן EECU.

1. נכנסים אל הדף Alerting בקטע Cloud Monitoring במסוף Cloud.
2. בוחרים באפשרות 'יצירת מדיניות' כדי להגדיר מדיניות חדשה של התראות.
3. בוחרים את המדד:
   • ‫EECU-seconds in progress מייצג את מספר שניות החישוב בהמתנה (שעדיין לא הסתיימו בהצלחה).
   • יכול להיות שתצטרכו לבטל את הסימון של המסנן 'פעיל' כדי לראות את המדד.
4. מוסיפים מסנן:
   • משתמשים בworkload_tag == your_workload_tag_value כדי לסנן לפי תג ספציפי של עומס עבודה.
   • אפשר להשתמש ב-compute_type = batch או ב-compute_type = online כדי לסנן לפי סוג מסוים של חישוב.
5. בוחרים ערך מתאים ל'חלון נע'. אם לא בטוחים, משתמשים בערך 5 min.
6. בתפריט 'פונקציה אנליטית (חלון נע)', בוחרים באפשרות 'סכום'.
7. בוחרים את הטריגר להתראה ונותנים לו שם.
8. בוחרים את ערוצי ההתראות.
   • במתכון הזה, נבחר באפשרות Manage Notification Channels (ניהול ערוצי התראות) בחלון המודאלי, ואז באפשרות Add New (הוספה של ערוץ חדש) כדי להדביק את מזהה המרחב ב-Google Chat. אפשר למצוא את המזהה הזה בכתובת ה-URL של דף Gmail או Chat כשמציגים את הצ'אט.
   • אם אתם משתמשים ב-Google Chat, תצטרכו גם להקליד @Google Cloud Monitoring ולבחור את האפליקציה כדי להוסיף את אפליקציית ההתראות למרחב (אם הארגון שלכם מאפשר זאת).
9. בוחרים את תוויות המדיניות והחומרה הרלוונטיות.
10. תכתוב קטע קצר של תיעוד.
11. מפרסמים את כללי מדיניות ההתראות החדשים.

אחרי שתגדירו את הסף, תקבלו התראות במרחב הצ'אט בכל פעם שהסף ייחצה בפרויקט.

מתכון: קבלת התראות באימייל על סך הזמן של שימוש ב-EECU שנמצא בתהליך

פועלים לפי ההוראות להגדרת התראות מ-Chat, אבל מבצעים שני שינויים:

1. מדלגים על השלב של הוספת מסנן workload_tag כדי לראות את כל הערכים.
2. כשבוחרים ערוץ התראות, במקום להגדיר ערוץ צ'אט, מוסיפים את כתובת האימייל.

זמן האחזור והתזמון של ההתראות

חשוב לזכור שיש עיכוב קל בהפצה של דוחות המעקב, ולכן לא כדאי לצפות לקבל התראות מיידיות.

ביטול משימות שצורכות הרבה משאבים

בהינתן מגבלה, אפשר להשתמש ב-Earth Engine API כדי לבדוק מעת לעת את רשימת המשימות שממתינות להפעלה ולבקש ביטול של כל משימה פעילה שחורגת ממגבלת שניות ה-EECU.

מתכון: הרצת קטע קוד במחברת או במעטפת Python מקומית

eecu_seconds_limit = 50 * 60 * 60  # 50 hours
print("Watching for operations to cancel...")
while(True):
  for op in ee.data.listOperations():
    if op['metadata']['state'] == 'RUNNING':
      if op['metadata'].get('batchEecuUsageSeconds', 0) > eecu_seconds_limit:
        print(f"Cancelling operation {op['name']}")
        ee.data.cancelOperation(op['name'])
  time.sleep(10)  # 10 seconds