Google Earth Engine به شما امکان می‌دهد با داده‌های شطرنجی ذخیره‌شده در مخزن‌های Google Cloud Storage (GCS) خودتان کار کنید. بااستفاده از GeoTIFFهای بهینه‌شده برای فضای ابری (COG)، می‌توانید بدون نیاز به انتقال پیکسل‌ها به فروشگاه دارایی Earth Engine، مستقیماً در Earth Engine به داده‌هایتان دسترسی داشته باشید و آن‌ها را تجزیه‌وتحلیل کنید.
این رویکرد ابرمبنا مزایای متعددی دارد، به‌ویژه برای مدیریت مجموعه‌داده‌های بزرگ یا ادغام Earth Engine در گردش‌های کاری گسترده‌تر Google Cloud یا ابزارها و پلاتفرم‌های خارجی.
چرا از «فضای ذخیره‌سازی ابری» و COG استفاده کنیم؟
- انعطاف‌پذیری و قابلیت همکاری: داده‌هایتان را در دسته‌های استاندارد Cloud Storage نگه دارید تا ابزارها و سرویس‌های دیگر بتوانند به آن دسترسی داشته باشند. چه داده‌ها را مستقیماً بارگذاری کنید یا آن‌ها را از Earth Engine صادر کنید، Cloud Storage به‌عنوان منبع واحد حقیقت برای Earth Engine و گردش‌های کاری خارجی عمل می‌کند.
- کنترل و خروج داده‌ها: ذخیره داده‌ها در Cloud Storage قابلیت‌های استاندارد مدیریت ذخیره‌سازی شیء را فراهم می‌کند. این به شما امکان می‌دهد داده‌هایتان را بااستفاده از ویژگی‌های Cloud Storage مثل پرداخت‌کننده درخواست‌کننده یا سطل‌های عمومی بارگیری، منتقل، یا هم‌رسانی کنید، و دسترسی را بااستفاده از Cloud IAM استاندارد مدیریت کنید.
- مقیاس‌بندی انعطاف‌پذیر: از محدودیت‌های فضای ذخیره‌سازی Earth Engine اجتناب کنید. Cloud Storage فضای ذخیره‌سازی خویش‌یار و تقریباً نامحدودی را ارائه می‌دهد که تا مقیاس پتابایت قابل‌تغییر است.
- بدون انتظار برای انتقال: ثبت COG به‌سرعت تکمیل می‌شود زیرا Earth Engine فقط فراداده‌ها (مانند تصویرسازی و ابعاد) را از سرصفحه فایل برای نمایه‌سازی و اعتبارسنجی می‌خواند. داده‌های پیکسل واقعی در Cloud Storage باقی می‌ماند و درطول محاسبات به‌صورت درخواستی خوانده می‌شود، که نیاز به کار جذب جداگانه را ازبین می‌برد.
گردش‌کارهای COG در Earth Engine
Earth Engine از گردش‌های کاری دوطرفه با COG در Cloud Storage پشتیبانی می‌کند: می‌توانید COG را مستقیماً از GCS در Earth Engine بخوانید و می‌توانید نتایج محاسبات را مستقیماً از Earth Engine به‌عنوان COG در GCS بنویسید.
خواندن COG از «فضای ذخیره‌سازی ابری»
برای آوردن COG میزبانی‌شده در GCS به Earth Engine، دو گزینه دارید:
بار کردن مستقیم (
ee.Image.loadGeoTIFF): یک تصویر را مستقیماً بااستفاده از شناسه منبع یکسان GCS آن بار کنید. این روش برای آزمون‌های سریع، تجزیه‌وتحلیل‌های موردی، یا داده‌های موقت بهترین است:JavaScript
var image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif');Python
image = ee.Image.loadGeoTIFF('gs://google-sample-bucket/my_image.tif')برای دیدن نمونه‌های کامل، به تصاویر از Cloud GeoTIFFs مراجعه کنید.
دارایی‌های ثبت‌شده: یک یا چند COG را به‌عنوان دارایی Earth Engine بااستفاده از مانیفست بارگذاری ثبت کنید (به راهنمای ثبت COG مراجعه کنید). این مسیر توصیه‌شده برای گردش‌های کاری تولید است، به‌ویژه هنگام ساختن مجموعه‌های تصویر.
| ویژگی | بار کردن مستقیم (loadGeoTIFF) |
دارایی ثبت‌شده (مانیفست) |
|---|---|---|
| راه‌اندازی | هیچ‌کدام (فقط GCS URI) | مانیفست (کارخواه Python، CLI، یا REST) |
| عملکرد | استاندارد (سرایند را در حالت خوانده‌شده می‌خواند) | بهینه‌سازی‌شده (نمایه‌شده در زمان ایجاد) |
| مدیریت | دارایی‌ای ایجاد نشد | جزو سهمیه تعداد دارایی حساب می‌شود، نه فضای ذخیره‌سازی. |
| کاربرد | نمونه‌سازی اولیه، تحلیل موردی | گردش‌های کار تولیدی که به خواندن سریع نیاز دارند. |
نوشتن COG در «فضای ذخیره‌سازی ابری»
برای ذخیره کردن نتایج محاسبات Earth Engine به‌عنوان COG در سطل Cloud Storage،
از تابع صادر کردن دسته‌ای
Export.image.toCloudStorage
استفاده کنید (به صادر کردن
تصاویر مراجعه کنید) و
پارامتر cloudOptimized را روی true در formatOptions تنظیم کنید. این دستور به Earth
Engine می‌گوید تصویر را گردآوری کند و آن را مستقیماً در مخزن GCS شما به‌عنوان COG کاملاً
سازگار بنویسد.
مکان‌های پشتیبانی‌شده مخزن Cloud Storage
برای اینکه Earth Engine به سطل Cloud Storage شما دسترسی داشته باشد، سطل باید در یکی از مناطق یا مناطق چندگانه مرکز داده زیر قرار داشته باشد:
-
usچندمنطقه‌ای - هر منطقه دوگانه ایالات متحده که شامل
us-central1باشد - منطقه
us-central1
اگر سطل شما در هر مرکز داده منطقه‌ای دیگری قرار داشته باشد، Earth Engine درخواست‌های ثبت و خواندن را رد خواهد کرد. Earth Engine به COGهای ذخیره‌شده منحصراً در مخزن‌های Google Cloud Storage دسترسی دارد. ارائه‌دهندگان فضای ذخیره‌سازی ابری خارجی و نشانی‌های وب HTTP عمومی پشتیبانی نمی‌شوند.
ملاحظات هزینه و کلاس‌های ذخیره‌سازی
هنگام تجزیه‌وتحلیل دارایی‌های COG ثبت‌شده، خواندن از Earth Engine باعث ایجاد هزینه عملیات خواندن Cloud Storage یا بازیابی داده در پروژه Google Cloud شما نمی‌شود.
Cloud Storage عمدتاً برای فضای ذخیره‌سازی داده‌های غیرفعال ماهانه استاندارد (گیگابایت/ماه) و هرگونه انتقال داده‌های کارخواه خارجی یا کارمزدهای خروج شبکه (بسته به مکان دسته و پیکربندی شبکه کارخواه) برای شما صورت‌حساب صادر می‌کند.
توصیه‌های کلاس فضای ذخیره‌سازی
- فضای ذخیره‌سازی استاندارد (توصیه‌شده): فضای ذخیره‌سازی استاندارد برای گردش‌های کاری فعال Earth Engine مناسب‌تر است. چون این نوع COG قانون حداقل مدت ذخیره‌سازی ندارد، می‌توانید COG موقت را بدون پرداخت جریمه حذف زودهنگام، آزادانه بازنویسی، به‌روزرسانی، یا حذف کنید. علاوه‌براین، اگر شما یا مشارکت‌کنندگان شما بااستفاده از نرم‌افزار GIS رایانه، اسکریپت‌های GDAL، یا دفتر یادداشت‌های یادگیری ماشین خارج از Earth Engine به این مخزن دسترسی پیدا کنید، فضای ذخیره‌سازی «استاندارد» هیچ اضافه‌بهای بازیابی خرده‌فروشی‌ای را متحمل نمی‌شود.
- فضای ذخیره‌سازی Nearline، Coldline، و Archive: همه کلاس‌های «فضای ذخیره‌سازی ابری» دسترسی با تأخیر کم و توان عملیاتی مشابه فضای ذخیره‌سازی Standard را ارائه می‌دهند، بنابراین هنگام استفاده از رده‌های فضای ذخیره‌سازی سردتر در Earth Engine، هیچ جریمه‌ای برای عملکرد خواندن وجود ندارد. اگرچه محاسبات Earth Engine می‌تواند این سطوح را نیز بدون ارزیابی کارمزدهای بازیابی داده‌های خرده‌فروشی بخواند، قوانین خرده‌فروشی Cloud Storage حداقل مدت‌های ذخیره‌سازی سختگیرانه‌ای را اعمال می‌کند (۳۰ روز برای Nearline، ۹۰ روز برای Coldline، ۳۶۵ روز برای Archive). اصلاح یا حذف فایل‌ها قبل‌از حداقل مدت زمان آن‌ها، باعث اعمال اضافه‌بهای حذف زودهنگام می‌شود. علاوه‌براین، دسترسی به اشیاء سرد از هر ابزار کارخواه خارجی‌ای مستلزم پرداخت هزینه اضافی برای بازیابی داده‌ها است.
برای اطلاع از جزئیات قیمت خرده‌فروشی و خط‌مشی‌های حداقل مدت، به راهنمای قیمت‌گذاری Google Cloud Storage مراجعه کنید.
گردش کار سطح بالا
گردش‌کارهای معمول برای استفاده از COG در Earth Engine شامل مراحل زیر است:
برای وارد کردن داده‌های خارجی:
- بهینه‌سازی: فایل‌های شطرنجی را بااستفاده از ابزارهای خارجی (مثل GDAL، دستورگان ایستگاه کاری محلی، یا خطوط لوله پردازش ابری) به قالب COG تبدیل کنید.
- بارگذاری: COG را در یک مخزن Cloud Storage پشتیبانی‌شده که در
us-central1یا یک منطقه چندگانه ایالات متحده قرار دارد بارگذاری کنید. - اجازه‌ها: مطمئن شوید که شما و هر مشارکت‌کننده پروژه به فایل‌ها دسترسی خواندن Cloud Storage دارید (به اجازه‌های COG مراجعه کنید).
- ثبت: از کتابخانه کارخواه Python، ابزار خط فرمان
earthengine، یا REST API برای ثبت COG به‌عنوان دارایی‌های Earth Engine استفاده کنید (به ثبت COG مراجعه کنید).
برای صادر کردن نتایج:
- صادر کردن: صادر کردن دسته‌ای از Earth Engine به Cloud Storage را با
cloudOptimizedتنظیم‌شده رویtrueاجرا کنید (به صادر کردن تصاویر مراجعه کنید). - ثبت (اختیاری): COG صادرشده را به‌عنوان دارایی جدیدی برای تحلیل بیشتر دوباره در Earth Engine ثبت کنید (به ثبت COG مراجعه کنید).
آماده شروع؟ برای ثبت اولین دارایی‌تان، راهنمای ثبت COG را با جزئیات دنبال کنید.