gs://alphaearth_foundations Bucket ของ GCS มีไฟล์ COG (Cloud Optimized
GeoTIFF) ซึ่งรวมกันเป็นข้อมูลชุด Satellite
Embedding
ประจำปีของ AlphaEarth Foundations โดยมีข้อมูลการฝังประจำปีตั้งแต่ปี 2017 ถึง 2025
รวมถึงปีดังกล่าวด้วย
Google มุ่งมั่นที่จะผลิตเลเยอร์การฝังข้อมูลดาวเทียมประจำปีอย่างต่อเนื่อง และจะแจ้งให้ทราบล่วงหน้าอย่างน้อย 1 ปีหากมีการเปลี่ยนแปลงที่คาดการณ์ไว้ ในการนำส่ง โดยขึ้นอยู่กับความพร้อมใช้งานอย่างต่อเนื่องของสตรีมข้อมูลนำเข้าจาก USGS และ ESA ซึ่งการผลิตชุดข้อมูลต้องอาศัยข้อมูลดังกล่าว
ใบอนุญาต
ชุดข้อมูลนี้ได้รับอนุญาตภายใต้ CC-BY 4.0 และต้องมี ข้อความการระบุแหล่งที่มาต่อไปนี้ "ชุดข้อมูล AlphaEarth Foundations Satellite Embedding สร้างขึ้นโดย Google และ Google DeepMind"
ตั้งแต่เดือนกรกฎาคม 2026 เป็นต้นไป เราจะตั้งค่าที่เก็บข้อมูลนี้เป็น "ผู้ให้บริการเป็นผู้ชำระเงิน"
โครงสร้างไดเรกทอรี
โดยจะแบ่งเป็นไดเรกทอรีตามปี และไดเรกทอรีของแต่ละปีจะแบ่งเป็นไดเรกทอรีย่อย 120 ไดเรกทอรี ซึ่งมีไดเรกทอรีย่อย 1 ไดเรกทอรีต่อโซน UTM 1 โซน โดยชื่อจะแสดงหมายเลขโซนและซีกโลก (N หรือ S)
ในแต่ละไดเรกทอรีจะมีไฟล์ COG อยู่หลายไฟล์ ไฟล์เหล่านี้มีข้อมูลพิกเซลทั้งหมด สำหรับโซน UTM นั้น
โครงสร้างไฟล์
แต่ละไฟล์มีขนาด 8192x8192 พิกเซล โดยมี 64 ช่อง ขนาดของแต่ละพิกเซล หลังจากใช้การแมปการยกเลิกการหาปริมาณแล้ว (ดูด้านล่าง) จะได้รับการ ทำให้เป็นมาตรฐานเพื่อให้มีความยาวแบบยุคลิดเท่ากับ 1
ไฟล์ประกอบด้วยเลเยอร์ภาพรวมที่ 4096x4096 พิกเซล, 2048x2048 พิกเซล และอื่นๆ จนถึงเลเยอร์ภาพรวมระดับบนสุดที่ 1x1 เลเยอร์ภาพรวมเหล่านี้สร้างขึ้นเพื่อให้พิกเซลภาพรวมแต่ละพิกเซลเป็นค่าเฉลี่ยของพิกเซลที่มีความละเอียดสูงสุดภายใต้พิกเซลภาพรวมนั้น โดยมีการปรับขนาดค่าเฉลี่ยให้มีความยาวเป็น 1
ช่องทางจะสอดคล้องตามลำดับกับแกน A00 ถึง A63 ของ
ชุดข้อมูลการฝังดาวเทียม ต้นทุนขายยังมีการตั้งชื่อช่องในลักษณะนี้ด้วย
ค่าของแต่ละพิกเซลสำหรับแต่ละแชแนลคือจำนวนเต็ม 8 บิตที่มีการลงนาม วิธีที่ค่าเหล่านี้แมปกับค่าเนทีฟ (ในช่วง [-1, 1]) ของการฝังอธิบายไว้ในการยกเลิกการหาปริมาณ
ค่า -128 สอดคล้องกับพิกเซลที่มาสก์ หากมีในช่องใดช่องหนึ่ง
ก็จะปรากฏในทุกช่อง ซึ่ง COG จะแสดงค่านี้ (เช่น มีการตั้งค่า NoData เป็น -128)
ชื่อของแต่ละไฟล์ก็มีข้อมูลบางอย่างด้วย เช่น ลองพิจารณาไฟล์ชื่อ
gs://alphaearth_foundations/satellite_embedding/v1/annual/2019/1S/x8qqwcsisbgygl2ry-0000008192-0000000000.tiff
ดังที่เห็นในชื่อไฟล์ ไฟล์นี้เป็นส่วนหนึ่งของการฝังประจำปี 2019 สำหรับ
โซน UTM 1S (โซน 1, ซีกโลกใต้) ชื่อไฟล์ฐาน
x8qqwcsisbgygl2ry-0000008192-0000000000ใช้เพื่อลิงก์ไฟล์นี้กับ
ชื่อรูปภาพดาวเทียมที่ฝังของ Earth Engine ที่เกี่ยวข้อง ในตัวอย่างนี้ ไฟล์นี้
สอดคล้องกับส่วนหนึ่งของรูปภาพ Earth Engine
GOOGLE/SATELLITE_EMBEDDING/V1/ANNUAL/x8qqwcsisbgygl2ry ส่วนทศนิยม 2 ส่วน
ของชื่อไฟล์จะระบุว่าค่าของ COG นี้สัมพันธ์กับรูปภาพ Earth
Engine นั้นอย่างไร โดยเป็นออฟเซ็ตใน Y ตามด้วยออฟเซ็ตใน X ในกรณีนี้ ต้นกำเนิดพิกเซลของ COG อยู่ที่ (0, 8192) เมื่อเทียบกับต้นกำเนิดของรูปภาพ Earth Engine
เนื่องจากจำเป็นต้องแบ่งย่อยรูปภาพ Earth Engine แต่ละรูป (ซึ่งมีขนาด 16384x16384 พิกเซล) เพื่อให้ COG ที่ได้ไม่ใหญ่เกินไป
การยกเลิกการควอนไทซ์
หากต้องการเปลี่ยนค่า 8 บิตที่ลงนามแบบดิบ (ซึ่งจะอยู่ระหว่าง -127 ถึง 127 รวมด้วย เนื่องจาก -128 สงวนไว้เป็นค่า "ไม่มีข้อมูล") ในแต่ละแชแนลของแต่ละ พิกเซลเป็นค่าทศนิยมที่พร้อมสำหรับการวิเคราะห์ (ซึ่งจะอยู่ระหว่าง -1 ถึง 1) การแมปที่จะดำเนินการคือ
- หารด้วย 127.5
- สี่เหลี่ยมจัตุรัส
- คูณด้วยเครื่องหมายของค่าเดิม
ซึ่งจะแสดงใน NumPy เป็น
# values is a NumPy array of raw pixel values
de_quantized_values = ((values / 127.5) ** 2) * np.sign(values)
ใน Earth Engine การดำเนินการที่เกี่ยวข้องจะเป็น
var de_quantized_values = values.divide(127.5).pow(2).multiply(values.signum());
การสร้างพีระมิดที่ดาวน์แซมเปิล
หากต้องการสร้างเวอร์ชันที่ดาวน์แซมเปิลหรือภาพรวมภายนอกของคุณเอง จากเลเยอร์ความละเอียดฐานของ COG เหล่านี้ (เช่น หลังจากโมเสค ไฟล์หลายไฟล์) คุณต้องใช้ขั้นตอนต่อไปนี้ เทคนิคการสร้างพีระมิดของแรสเตอร์มาตรฐาน (เช่น การใช้ gdaladdo กับ -r average ในค่าจำนวนเต็มดิบ) จะไม่ให้ผลลัพธ์ที่ถูกต้อง
- ยกเลิกการหาปริมาณ: แปลงจำนวนเต็ม 8 บิตดิบเป็นจำนวนทศนิยมโดยใช้วิธีการที่อธิบายไว้ในการยกเลิกการหาปริมาณ
- Sum Vectors: ดำเนินการหาผลรวมแบบทีละองค์ประกอบของเวกเตอร์ที่เลิกทำการควอนไทซ์
- ทำให้เป็นมาตรฐาน: คำนวณบรรทัดฐานแบบยุคลิดของเวกเตอร์ผลรวมที่ได้ แล้วหารด้วยบรรทัดฐานเพื่อทำให้เป็นมาตรฐานใหม่ให้มีความยาวเป็น 1 หน่วย
import numpy as np
# Assuming 'raw_values' is a NumPy array of shape (N, 64)
# containing the raw signed 8-bit integers from N pixels.
# N = 4 for a 2x2 aggregation, for example.
# 1. De-quantize
de_quantized_values = ((raw_values / 127.5) ** 2) * np.sign(raw_values)
# 2. Sum the de-quantized vectors
sum_vec = np.sum(de_quantized_values, axis=0) # Shape (64,)
# 3. Normalize the sum vector
norm = np.linalg.norm(sum_vec)
# Add epsilon to prevent division by zero
pyramided_vec = sum_vec / (norm + 1e-9)
# 'pyramided_vec' is the correctly downsampled 64-dimensional unit vector.
เลเยอร์ภาพรวมใน COG สร้างขึ้นโดยใช้กระบวนการนี้ หากเลเยอร์ภาพรวมตรงกับความต้องการของคุณ คุณสามารถใช้เลเยอร์ภาพรวมเหล่านั้นได้ทันทีโดยไม่ต้องคำนวณเพิ่มเติม
ไฟล์ Manifest และดัชนี
คุณดูรายการไฟล์ในชุดข้อมูลนี้ได้ใน
gs://alphaearth_foundations/satellite_embedding/v1/annual/manifest.txt
เนื่องจากไม่สามารถระบุพื้นที่ของโลกที่ครอบคลุมจากชื่อไฟล์ได้
เราจึงจัดทำดัชนีไว้ใน 3 รูปแบบ (GeoParquet
GeoPackage และ CSV) ในไฟล์
gs://alphaearth_foundations/satellite_embedding/v1/annual/aef_index.parquet
gs://alphaearth_foundations/satellite_embedding/v1/annual/aef_index.gpkg และ
gs://alphaearth_foundations/satellite_embedding/v1/annual/aef_index.csv ดัชนีนี้มีรายการ 1 รายการสำหรับแต่ละไฟล์ในชุดข้อมูล ข้อมูลที่ระบุ
สำหรับแต่ละไฟล์คือ
- เรขาคณิตของไฟล์เป็น WGS84 (เช่น EPSG:4326) ในรูปแบบ CSV
ข้อมูลนี้จะอยู่ในคอลัมน์
WKTดูรายละเอียดการคำนวณได้ที่การประมวลผลเรขาคณิต crs: CRS ของโซน UTM ที่รูปภาพนี้เป็นของรหัส EPSG เช่นEPSG:32610year: ปีที่รูปภาพครอบคลุมutm_zone: เขต UTM ของรูปภาพ เช่น10Nutm_west,utm_south,utm_east,utm_north: ขอบเขต UTM ของอาร์เรย์พิกเซลดิบ ซึ่งไม่ได้แสดงถึงการประมวลผลเรขาคณิต และรวมพิกเซลทั้งหมดไม่ว่าจะถูกต้องหรือไม่ก็ตามwgs84_west,wgs84_south,wgs84_east,wgs84_north: ลองจิจูดและละติจูดต่ำสุดและสูงสุด ของรูปเรขาคณิต WGS84
การประมวลผลเรขาคณิต
อาร์เรย์พิกเซลอยู่ในโซน UTM บางโซนโดยกำเนิด ดังนั้นในโซน UTM นั้น กรอบล้อม ของอาร์เรย์พิกเซลจึงเป็นสี่เหลี่ยมผืนผ้าธรรมดา ระบบจะแปลงกรอบล้อมรอบนั้น เป็นรูปหลายเหลี่ยมใน WGS84 รูปหลายเหลี่ยมนี้มีจุดพิเศษหลายจุดเพื่อให้ขอบของรูป หลายเหลี่ยมเป็นไปตามเส้นโค้งใน WGS84 ที่เส้นตรงใน UTM แปลงเป็น รูปหลายเหลี่ยมนี้ไม่ได้คำนึงถึงความถูกต้องของ พิกเซลในรูปภาพ แต่จะพิจารณาเฉพาะขอบเขตของอาร์เรย์พิกเซลของรูปภาพ
จากนั้นจะตัดรูปหลายเหลี่ยมให้มีลองจิจูดต่ำสุดและสูงสุดของ เขต UTM ของรูปภาพ ในทางปฏิบัติ การดำเนินการนี้อาจทําให้ไม่รวมพิกเซลที่ถูกต้องบางรายการซึ่ง อยู่นอกขอบเขตของโซน UTM การละเว้นพิกเซลเหล่านี้จากดัชนี ไม่น่าจะทำให้เกิดปัญหาใดๆ เนื่องจากรูปภาพบางส่วนจากโซน UTM ที่อยู่ใกล้เคียงควร ครอบคลุมพื้นที่ดังกล่าว
โปรดทราบว่าการตัดลองจิจูดต่ำสุดและสูงสุดของโซน UTM หมายความว่าจะไม่มี รูปหลายเหลี่ยมข้ามเส้นเมริเดียนตรงข้าม ซึ่งจะทำให้การประมวลผลไฟล์นี้ง่ายขึ้นเล็กน้อย