কাস্টম স্যাটেলাইট এম্বেডিংয়ের পাবলিক ডেটা স্যাম্পেল

gs://alphaearth_foundations_custom GCS বাকেটে AlphaEarth Foundations-এর তৈরি করা COG (ক্লাউড অপ্টিমাইজড GeoTIFF) ফাইলের মাধ্যমে তৈরি কাস্টম স্যাটেলাইট এম্বেডিংয়ের স্যাম্পেল ডেটাসেট রয়েছে।

লাইসেন্স

এই ডেটাসেটের সংগ্রহ CC-BY 4.0-এর অধীনে লাইসেন্সপ্রাপ্ত এবং নিম্নলিখিত অ্যাট্রিবিউশন টেক্সট প্রয়োজন: "AlphaEarth Foundations থেকে কাস্টম স্যাটেলাইট এম্বেডিং Google এবং Google DeepMind-এর মাধ্যমে তৈরি করা হয়।" এইসব পাবলিক ডেটাসেট ব্যবহার করার ক্ষেত্রে Google Cloud-এর গ্রহণযোগ্য ব্যবহার সংক্রান্ত নীতি প্রযোজ্য।

উপলভ্য ডেটাসেট

এই বাকেটে থাকা ডেটাসেটের তালিকা নিচে দেওয়া হল। এতে ডেটাসেটের নাম, বিবরণ এবং ডেটাসেটের অন্তর্ভুক্ত সাধারণ এলাকা থাকে। মনে রাখবেন, এখানে সময়ের ব্যবধানের ক্ষেত্রে শুরুর সময় অন্তর্ভুক্ত করা হয় এবং শেষের সময় বাদ দেওয়া হয়।

  • নাম: corcoran_city_2026_agricultural_change
    এলাকা: করকোরান এবং আশেপাশের কৃষি অঞ্চল, ক্যালিফোর্নিয়া, মার্কিন যুক্তরাষ্ট্র
    বিবরণ: শীতকালীন খালি মাটি (১৫ ডিসেম্বর, ২০২৫ - ১৫ ফেব্রুয়ারি, ২০২৬) এবং বসন্তকালীন সর্বোচ্চ সবুজতা (১৫ মার্চ - ১৫ মে, ২০২৬) এম্বেডিং যা দুটি ঋতুভিত্তিক উইন্ডো জুড়ে কৃষি ফসলের গতিশীলতা ক্যাপচার করে।

  • নাম: futaleufu_argentina_2026_fire_scar
    এলাকা: লস অ্যালারসেস ন্যাশনাল পার্ক এবং আশেপাশের অঞ্চল, ফুটালেউফু বিভাগ, চুবুত প্রদেশ, আর্জেন্টিনা
    বিবরণ: ২০২৬ সালের লস অ্যালারসেস দাবানল থেকে দাবানলের কারণে পুড়ে যাওয়া অংশের পরিমাণ এবং বনের ক্যানোপি ডিস্টার্বেন্স ক্যাপচার করা এম্বেডিং দাবানলের আগে (১-৩১ ডিসেম্বর, ২০২৫) এবং দাবানলের পরে (১-৩১ মার্চ, ২০২৬)।

  • নাম: king_county_2025_monthly
    এলাকা: কিং কাউন্টি, ওয়াশিংটন, মার্কিন যুক্তরাষ্ট্র
    বিবরণ: ২০২৫ সালের প্রথম ছয় মাসের জন্য কিং কাউন্টি প্রশাসনিক এলাকার ক্যালেন্ডার-মাস এম্বেডিং, যার মধ্যে বিভিন্ন শহুরে পরিকাঠামো এবং বনাঞ্চল অন্তর্ভুক্ত।

  • নাম: meloland_california_2026_crop_cycles
    এলাকা: মেলোল্যান্ড এবং আশেপাশের কৃষি ক্ষেত্র, ইম্পেরিয়াল ভ্যালি, ক্যালিফোর্নিয়া, মার্কিন যুক্তরাষ্ট্র
    বিবরণ: মাল্টি-ক্রপ রোটেশন চক্র ট্র্যাক করার জন্য ছয়টি ক্রমিক মাসিক (১৫ থেকে ১৫ তারিখ) এম্বেডিং টাইম স্টেপ (নভেম্বর ২০১৫-এর মাঝামাঝি থেকে মে ২০২৬-এর মাঝামাঝি পর্যন্ত)।

  • নাম: pacific_palisades_2025_fire
    এলাকা: প্যাসিফিক প্যালিসেডস এবং আশেপাশের উপকূলীয় পাহাড়, লস অ্যাঞ্জেলেস, ক্যালিফোর্নিয়া, মার্কিন যুক্তরাষ্ট্র
    বিবরণ: দাবানলের আগে (৭ ডিসেম্বর, ২০২৪ - ৭ জানুয়ারি, ২০২৫) এবং দাবানলের পরে (৭ জানুয়ারি - ৭ ফেব্রুয়ারি, ২০২৫) ৩১ দিনের এম্বেডিং যা প্যালিসেডস দাবানলের প্রভাব এবং ভূমি কভার পরিবর্তন ক্যাপচার করে।

  • নাম: theewaterskloof_dam_2026_water_change
    এলাকা: থিওয়াটার্সক্লুফ ড্যাম, থিওয়াটার্সক্লুফ লোকাল মিউনিসিপ্যালিটি, দক্ষিণ আফ্রিকা
    বিবরণ: শুষ্ক ঋতু (১-৩১ জানুয়ারি, ২০২৬) এবং বর্ষা ঋতুতে রিচার্জ (১৫ এপ্রিল - ১৫ মে, ২০২৬) এম্বেডিং যা জলাশয়ের জলের উপরিভাগের ক্ষেত্রফলের পরিবর্তন ক্যাপচার করে।

ডিরেক্টরি স্ট্রাকচার

সব স্যাম্পেল ডেটাসেট gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/ প্রিফিক্সের অধীনে সাজানো থাকে:

gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/
└── {dataset_name}/
    ├── aef_index.parquet
    ├── manifest.txt
    └── {start_date}_{end_date}/
        └── {image_id}/
            ├── data.tiff
            └── image_manifest.json

প্রতিটি ডেটাসেটের নিজস্ব ডিরেক্টরি আছে যাতে ডেটাসেট-লেভেল aef_index.parquet GeoParquet ইন্ডেক্স ফাইল, ডেটাসেট-লেভেল manifest.txt ফাইল, এবং এক বা একাধিক সময়সীমা সাবডিরেক্টরি থাকে।

এইসব সময়ের ব্যবধানের সাবডিরেক্টরির নাম {start_date}_{end_date} প্যাটার্ন ব্যবহার করে রাখা হয়, যেখানে শুরুর তারিখ অন্তর্ভুক্ত এবং শেষ হওয়ার তারিখ অন্তর্ভুক্ত নয়। দুটি তারিখই yyyyMMdd হিসেবে ফর্ম্যাট করা হয়েছে এবং UTC টাইমজোনে রয়েছে। যেমন, জুন ২০২৫ মাসের সাবডিরেক্টরির নাম হবে 20250601_20250701, যা 2025-06-01T00:00:00Z (অন্তর্ভুক্ত) থেকে 2025-07-01T00:00:00Z (বাদ দিয়ে) সময়সীমার সাথে সম্পর্কিত।

প্রতিটি সময়সীমার ডিরেক্টরিতে সেই সময়সীমার মধ্যে প্রতিটি ছবি এম্বেড করার জন্য একটি সাবডিরেক্টরি থাকে, যার নাম একটি ছবি শনাক্তকারী ({image_id}) দিয়ে দেওয়া হয় যা ডেটাসেটের মধ্যে ছবিটিকে অনন্যভাবে শনাক্ত করে। প্রতিটি {image_id} সাবডিরেক্টরিতে পিক্সেল ডেটার একটি data.tiff COG ফাইল এবং একটি সাইডকার image_manifest.json ফাইল থাকে যা Earth Engine-এ ডেটা রেজিস্টার করতে ব্যবহার করা হয়।

ফাইল স্ট্রাকচার

প্রতিটি COG ফাইলের ইন্টার্নাল স্ট্রাকচার—যার মধ্যে ৮১৯২x৮১৯২ পিক্সেল ডাইমেনশন, ৬৪টি চ্যানেল (A00 থেকে A63), নরমালাইজড ওভারভিউ পিরামিড, সাইন করা ৮-বিট ইন্টিজার কোয়ান্টাইজেশন এবং -128 NoData মাস্ক ভ্যালু অন্তর্ভুক্ত—বার্ষিক স্যাটেলাইট এম্বেডিং COG-এর মতোই। বার্ষিক COG-এর মতো নয়, প্রতিটি স্যাম্পেল টাইল-এ বৈধ পিক্সেল সাধারণত আগ্রহের অঞ্চলের সাথে সম্পর্কিত 8192x8192 গ্রিডের শুধুমাত্র একটি সাবসেট কভার করে, বাকি সব পিক্সেল -128 (NoData) হিসেবে মাস্ক করা থাকে। COG লেআউট সম্পর্কে সম্পূর্ণ বিবরণ পেতে, AlphaEarth Foundations GCS ডেটা গাইডের ফাইল স্ট্রাকচার বিভাগ দেখুন।

প্রতিটি COG ফাইলের পাথেও কিছু তথ্য থাকে। যেমন, gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/pacific_palisades_2025_fire/20250107_20250207/x1evicvaet1mupt13-0000008192-0000000000/data.tiff-এ থাকা ফাইলটি বিবেচনা করুন। পাথ থেকে বোঝা যাচ্ছে যে এই ফাইলটি ২০২৫-এর লস অ্যাঞ্জেলস কাউন্টিতে প্যালিসেডস ফায়ারের এম্বেডিংয়ের অংশ। এই নির্দিষ্ট ফাইলে এম্বেডিং আছে যা ৭ জানুয়ারি, ২০২৫ (অন্তর্ভুক্ত) থেকে ৭ ফেব্রুয়ারি, ২০২৫ (অন্তর্ভুক্ত নয়) পর্যন্ত সময়সীমার সারসংক্ষেপ করে। x1evicvaet1mupt13-0000008192-0000000000 সাবডিরেক্টরির নাম pacific_palisades_2025_fire ডেটাসেটে data.tiff COG-কে অনন্যভাবে শনাক্ত করে। এই শনাক্তকারী হল একটি অস্বচ্ছ UUID।

বিকল্প হিসেবে, এই ফাইল মেটাডেটা এবং আরও অনেক কিছু COG-এর image_manifest.json ফাইল থেকে এক্সট্র্যাক্ট করা যেতে পারে যা gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/pacific_palisades_2025_fire/20250107_20250207/x1evicvaet1mupt13-0000008192-0000000000/image_manifest.json-এ পাওয়া যাবে। এই ফাইলটি Earth Engine ইমেজ ম্যানিফেস্টের JSON উপস্থাপনা। ইমেজ ম্যানিফেস্টের JSON স্ট্রাকচার ইমেজ ম্যানিফেস্ট গাইড-এ সংজ্ঞায়িত করা আছে। প্রদত্ত image_manifest.json ফাইলে থাকা কন্টেন্টের সম্পূর্ণ বিবরণের জন্য, ইমেজ ম্যানিফেস্ট বিভাগ দেখুন।

ডি-কোয়ান্টাইজেশন

প্রতিটি চ্যানেলে র পিক্সেল ভ্যালু হল [-১২৭, ১২৭] রেঞ্জে সাইন করা ৮-বিট ইন্টিজার (-128 "কোনও ডেটা নেই" ভ্যালু হিসেবে রিজার্ভ করা আছে) এবং বিশ্লেষণের জন্য প্রস্তুত [-১, ১] রেঞ্জে ফ্লোটিং-পয়েন্ট ভ্যালু তৈরি করতে অবশ্যই ডি-কোয়ান্টাইজ করতে হবে। ডি-কোয়ান্টাইজেশন ম্যাপিং এবং ডাউনস্যাম্পেল করা পিরামিড তৈরি করার নির্দেশাবলীর জন্য, AlphaEarth Foundations GCS ডেটা গাইডের ডি-কোয়ান্টাইজেশন এবং ডাউনস্যাম্পেল করা পিরামিড তৈরি করুন বিভাগ দেখুন।

ম্যানিফেস্ট ও ইনডেক্স

এম্বেডিং টাইল খুঁজে পাওয়া, সেগুলির উপর ইটারেট করা এবং রেজিস্টার করার সুবিধা দিতে, প্রতিটি ডেটাসেট দুই ধরনের ম্যানিফেস্ট প্রদান করে—COG ফাইলের একটি ডেটাসেট-লেভেল তালিকা (manifest.txt) এবং প্রতিটি ছবির মেটাডেটা ম্যানিফেস্ট (image_manifest.json)—এর সাথে একটি ডেটাসেট-লেভেল GeoParquet স্পেশিয়াল ইন্ডেক্স (aef_index.parquet) থাকে।

ডেটাসেট ম্যানিফেস্ট

প্রতিটি ডেটাসেটে একটি manifest.txt ফাইল থাকে যা এর ডিরেক্টরির রুটে অবস্থিত: gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/{dataset_name}/manifest.txt

এটি একটি প্লেন-টেক্সট ফাইল যাতে ডেটাসেটের প্রতিটি data.tiff ফাইলের জন্য সম্পূর্ণ Google Cloud Storage URI থাকে, যা নতুন লাইন দ্বারা আলাদা করা হয়।

ছবির ম্যানিফেস্ট

প্রতিটি data.tiff ফাইলের সাথে একটি সাইডকার image_manifest.json ফাইল থাকে: gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/{dataset_name}/{start_date}_{end_date}/{image_id}/image_manifest.json

এই JSON ফাইলটি Earth Engine Image Manifest-এর স্পেসিফিকেশন অনুসরণ করে এবং টাইলের সোর্স ফাইল, ব্যান্ড স্ট্রাকচার, টেম্পোরাল বাউন্ড ও স্পেশিয়াল কভারেজ বর্ণনা করে।

স্ট্যান্ডার্ড ম্যানিফেস্ট ফিল্ড (যেমন tilesets এবং bands) স্ট্যান্ডার্ড Earth Engine কনভেনশন অনুসরণ করলেও, বেশ কিছু গুরুত্বপূর্ণ বিবরণ মনে রাখতে হবে:

  • name: GCS-এ ফাঁকা ("") রাখা হয়েছে। Earth Engine অ্যাসেট সংগ্রহে কোনও ছবি রেজিস্টার করতে এই ম্যানিফেস্ট ব্যবহার করার সময়, ক্লায়েন্টকে অবশ্যই টার্গেট অ্যাসেট আইডি (যেমন, projects/{project}/assets/{collection}/{image_id}) প্রদান করতে হবে। বিস্তারিত জানতে Earth Engine-এ ডেটাসেট লোড করুন দেখুন।
  • start_time ও end_time: ISO 8601 (যেমন, 2026-03-15T00:00:00+00:00) হিসেবে ফর্ম্যাট করা UTC-তে কম্পোজিট সময়সীমার জন্য শুরু (অন্তর্ভুক্ত) ও শেষ (বহির্ভূত) টাইমস্ট্যাম্প উল্লেখ করুন।
  • footprint: পিক্সেল কোঅর্ডিনেটে একটি বন্ধ পলিগন যা সঠিক পিক্সেল সহ একটি অঞ্চলকে আউটলাইন করে। মনে রাখবেন যে পলিগনের মধ্যে এখনও অনুপস্থিত পিক্সেল থাকতে পারে - যেমন king_county_2025_monthly-এর মতো জটিল এম্বেডিং জ্যামিতির ক্ষেত্রে হয়।
  • properties: এম্বেডিংয়ের জন্য নির্দিষ্ট কী-ভ্যালু মেটাডেটা, যার মধ্যে রয়েছে:
    • IMAGE_ID: ডেটাসেটের মধ্যে থাকা ছবির অনন্য শনাক্তকারী।
    • DATASET: ডেটাসেটের নাম।
    • DATASET_VERSION: ডেটাসেট ভার্সন।
    • START_DATE ও END_DATE: ছবির মাধ্যমে কভার করা সময়সীমার শুরু (ইনক্লুসিভ) ও শেষ (এক্সক্লুসিভ) হওয়ার তারিখ, YYYY-MM-DD হিসেবে ফর্ম্যাট করা।
    • MODEL_VERSION: ভার্সন স্ট্রিং অনন্যভাবে মডেল ভার্সন শনাক্ত করে যা ছবি তৈরি করতে ব্যবহার করা হয়।
    • PROCESSING_SOFTWARE_VERSION: ভার্সন স্ট্রিং অনন্যভাবে শনাক্ত করে ছবি তৈরি করতে ব্যবহৃত মডেল ডেটা প্রসেসিং সফ্টওয়্যার।
    • UTM_ZONE: ছবি তৈরি করতে ব্যবহৃত কোঅর্ডিনেট রেফারেন্স সিস্টেমের UTM জোন।

GeoParquet ইন্ডেক্স

প্রতিটি ডেটাসেটে একটি GeoParquet স্পেশিয়াল ইন্ডেক্স ফাইল থাকে যা এর ডিরেক্টরির রুটে অবস্থিত: gs://alphaearth_foundations_custom/custom_satellite_embedding/v1/{dataset_name}/aef_index.parquet

এই ইন্ডেক্সে ডেটাসেটের প্রতিটি data.tiff ফাইলের জন্য একটি করে এন্ট্রি থাকে এবং এটি স্পেশিয়াল ও টেম্পোরাল মেটাডেটা প্রদান করে যা কোনও নির্দিষ্ট এলাকা ও সময়সীমা কোন ফাইল কভার করে তা নির্ধারণ করতে সাহায্য করে:

  • geometry: WGS84 (EPSG:4326) পলিগন হিসেবে ফাইলের জ্যামিতি। পিক্সেল অ্যারের UTM বাউন্ডিং বক্স থেকে কীভাবে এই পলিগন গণনা করা হয় এবং UTM জোন বাউন্ডে ক্লিপ করা হয় তার বিবরণের জন্য, AlphaEarth Foundations GCS ডেটা গাইডের জিওমেট্রি প্রসেসিং বিভাগটি দেখুন। মনে রাখবেন যে এই পলিগন সম্পূর্ণ ৮১৯২x৮১৯২ পিক্সেল অ্যারের বাউন্ডারি দেখায় এবং স্বতন্ত্র পিক্সেলের বৈধতা বিবেচনা করে না।
  • crs: UTM জোনের CRS, যেটির ছবি EPSG কোড হিসেবে আছে, যেমন EPSG:32610।
  • path: data.tiff COG ফাইলের Google Cloud Storage URI (gs://...)।
  • dataset: ডেটাসেটের নাম।
  • start_date ও end_date: ছবির মাধ্যমে কভার করা সময়সীমার শুরু (ইনক্লুসিভ) ও শেষ (এক্সক্লুসিভ) হওয়ার তারিখ, YYYY-MM-DD হিসেবে ফর্ম্যাট করা।
  • image_id: ডেটাসেটের মধ্যে ছবির অনন্য শনাক্তকারী।
  • utm_zone: ছবির UTM জোন, যেমন 10N।
  • utm_west, utm_south, utm_east, utm_north: র পিক্সেল অ্যারের UTM বাউন্ড। এটি কোনও জ্যামিতি প্রসেসিং দেখায় না এবং এতে সব পিক্সেল অন্তর্ভুক্ত থাকে, সেগুলি সঠিক হোক বা না হোক।
  • wgs84_west, wgs84_south, wgs84_east, wgs84_north: WGS84 geometry-এর সর্বনিম্ন এবং সর্বোচ্চ দ্রাঘিমাংশ এবং অক্ষাংশ।

Earth Engine-এ ডেটাসেট লোড করুন

মনে রাখবেন: সুবিধার জন্য, কাস্টম স্যাটেলাইট এম্বেডিংয়ের জন্য সব স্যাম্পেল ডেটাসেট লিঙ্ক করা নোটবুক গাইডে বর্ণিত পদ্ধতি ব্যবহার করে পাবলিক ImageCollections হিসেবে Google Earth Engine-এ যোগ করা হবে এবং আগে থেকেই ডি-কোয়ান্টাইজ করা থাকবে। নতুন ডেলিভার করা কাস্টম স্যাটেলাইট এম্বেডিং ডেটাসেট Google Earth Engine ImageCollections হিসেবে রেজিস্টার করার সময় ব্যবহারকারীরা লিঙ্ক করা নির্দেশিকা ব্যবহার করতে পারবেন।

COG-ব্যাকড অ্যাসেট হিসেবে রেজিস্টার করে অথবা সরাসরি লোড করে COG-কে Earth Engine-এ লোড করা যেতে পারে, দুটি পদ্ধতির সম্পূর্ণ গাইডের জন্য GitHub-এ কাস্টম স্যাটেলাইট এম্বেডিং ডেটা অ্যাক্সেস নোটবুক দেখুন। এই দুটি পদ্ধতির সাধারণ ওভারভিউ ও তুলনার জন্য, Earth Engine-এ ক্লাউড অপ্টিমাইজড GeoTIFFs (COGs) দেখুন।