Bộ chứa gs://alphaearth_foundations GCS chứa các tệp COG (Cloud Optimized GeoTIFF) tạo thành tập dữ liệu Vệ tinh nhúng hằng năm của AlphaEarth Foundations. Tập dữ liệu này chứa các vectơ nhúng hằng năm cho các năm từ 2017 đến 2024 (bao gồm cả năm 2024).
Giấy phép
Tập dữ liệu này được cấp phép theo CC-BY 4.0 và yêu cầu văn bản ghi công sau: "Tập dữ liệu Nhúng vệ tinh AlphaEarth Foundations do Google và Google DeepMind tạo ra".
Nhóm này được thiết lập là "người yêu cầu thanh toán", vì vậy, việc tải dữ liệu xuống có thể phát sinh phí truyền dữ liệu ra ngoài và các khoản phí khác.
Cấu trúc thư mục
Các tệp này được chia thành các thư mục theo năm; thư mục của mỗi năm được chia thành 120 thư mục con, mỗi thư mục con cho một vùng UTM, tên của thư mục con phản ánh số vùng và bán cầu (N hoặc S).
Trong mỗi thư mục có một số tệp COG. Các tệp này chứa tất cả dữ liệu pixel cho vùng UTM đó.
Cấu trúc tệp
Mỗi tệp có kích thước 8192x8192 pixel, với 64 kênh. Độ lớn của mỗi pixel, sau khi áp dụng ánh xạ khử lượng tử (xem bên dưới), đã được chuẩn hoá để có độ dài Euclid là 1.
Các tệp này chứa các lớp tổng quan ở độ phân giải 4096x4096 pixel, 2048x2048 pixel, v.v. cho đến lớp tổng quan cấp cao nhất 1x1. Các lớp tổng quan này được tạo sao cho mỗi pixel tổng quan là giá trị trung bình của các pixel có độ phân giải cao nhất trong pixel tổng quan đó, trong đó cường độ của giá trị trung bình đã được chuẩn hoá để có độ dài là 1.
Các kênh này tương ứng theo thứ tự với các trục A00 đến A63 của tập dữ liệu Nhúng vệ tinh. COGs cũng chứa tên này cho các kênh.
Giá trị của mỗi pixel cho mỗi kênh là một số nguyên 8 bit có dấu. Cách các giá trị này được liên kết với các giá trị gốc (trong phạm vi [-1, 1]) của các mục nhúng được mô tả bên dưới.
Giá trị -128 tương ứng với một pixel bị che. Nếu có trong một kênh, thì sẽ có trong tất cả các kênh. Các COG phản ánh điều này (tức là chúng có giá trị NoData được đặt thành -128).
Tên của mỗi tệp cũng mang một số thông tin. Ví dụ: hãy xem xét tệp có tên là gs://alphaearth_foundations/satellite_embedding/v1/annual/2019/1S/x8qqwcsisbgygl2ry-0000008192-0000000000.tiff.
Như mô tả ở trên, tệp này là một phần của hoạt động nhúng hằng năm năm 2019 và nằm trong vùng UTM 1S (vùng 1, bán cầu nam). Tên tệp cơ sở, x8qqwcsisbgygl2ry-0000008192-0000000000, dùng để liên kết tệp này với tên Hình ảnh nhúng vệ tinh Earth Engine tương ứng. Trong ví dụ này, tệp này tương ứng với một phần của hình ảnh Earth Engine GOOGLE/SATELLITE_EMBEDDING/V1/ANNUAL/x8qqwcsisbgygl2ry. Hai phần thập phân của tên tệp chỉ định vị trí các giá trị COG này so với Hình ảnh Earth Engine đó, dưới dạng độ lệch theo Y, sau đó là độ lệch theo X. Trong trường hợp này, nguồn gốc của pixel COG là (0, 8192) so với nguồn gốc của Hình ảnh Earth Engine.
Điều này là do cần phải chia nhỏ từng Hình ảnh Earth Engine (có kích thước 16384x16384 pixel) để các tệp COG thu được không quá cồng kềnh.
Giảm lượng tử hoá
Để chuyển đổi giá trị thô đã ký 8 bit (sẽ nằm trong khoảng từ -127 đến 127, vì -128 được dành riêng làm giá trị "không có dữ liệu") trong mỗi kênh của mỗi pixel thành giá trị dấu phẩy động sẵn sàng phân tích (sẽ nằm trong khoảng từ -1 đến 1), thì ánh xạ cần thực hiện là
- chia cho 127,5
- hình vuông
- nhân với dấu của giá trị ban đầu
Điều này sẽ được biểu thị trong NumPy dưới dạng
# values is a NumPy array of raw pixel values
de_quantized_values = ((values / 127.5) ** 2) * np.sign(values)
Trong Earth Engine, thao tác tương ứng sẽ là
var de_quantized_values = values.divide(127.5).pow(2).multiply(values.signum());
Tệp kê khai và chỉ mục
Bạn có thể xem danh sách các tệp trong tập dữ liệu này trong gs://alphaearth_foundations/satellite_embedding/v1/annual/manifest.txt.
Vì không thể xác định khu vực trên thế giới mà các tệp này bao phủ dựa trên tên tệp, nên chúng tôi cũng cung cấp một chỉ mục ở 3 dạng (GeoParquet, GeoPackage và CSV) trong các tệp gs://alphaearth_foundations/satellite_embedding/v1/annual/aef_index.parquet, gs://alphaearth_foundations/satellite_embedding/v1/annual/aef_index.gpkg và gs://alphaearth_foundations/satellite_embedding/v1/annual/aef_index.csv. Chỉ mục này chứa một mục cho mỗi tệp trong tập dữ liệu. Thông tin được cung cấp cho mỗi tệp là
- hình học của tệp dưới dạng WGS84 (tức là EPSG:4326) đa giác. Trong biểu mẫu CSV, thông tin này nằm trong cột
WKT. Xem bên dưới để biết thông tin chi tiết về cách tính toán hình học này. crs: CRS của vùng UTM mà hình ảnh này thuộc về dưới dạng mã EPSG, chẳng hạn nhưEPSG:32610.year: Năm mà hình ảnh đề cập đến.utm_zone: Vùng UTM của hình ảnh, chẳng hạn như10N.utm_west,utm_south,utm_east,utm_north: Ranh giới UTM của mảng pixel thô. Điều này không phản ánh bất kỳ quá trình xử lý hình học nào và bao gồm tất cả các pixel, bất kể chúng có hợp lệ hay không.wgs84_west,wgs84_south,wgs84_east,wgs84_north: Kinh độ và vĩ độ tối thiểu/tối đa của hình học WGS84.
Xử lý hình học
Mảng pixel vốn có trong một số vùng UTM, vì vậy trong vùng UTM đó, hộp giới hạn của mảng pixel là một hình chữ nhật đơn giản. Khung hình chữ nhật đó được chuyển đổi thành một đa giác trong WGS84. Đa giác này có một số điểm bổ sung để các cạnh của đa giác này bám sát các đường cong trong WGS84 mà các đường thẳng trong UTM chuyển đổi thành. Đa giác này không tính đến tính hợp lệ/không hợp lệ của các pixel trong hình ảnh, mà chỉ tính đến ranh giới của mảng pixel trong hình ảnh.
Sau đó, đa giác sẽ được cắt theo kinh độ tối thiểu và tối đa của vùng UTM trong hình ảnh. Trong thực tế, điều này có thể khiến nó không bao gồm một số pixel hợp lệ nằm ngoài rìa của vùng UTM. Việc bỏ qua những pixel này trong chỉ mục sẽ không gây ra vấn đề gì: một số hình ảnh từ vùng UTM lân cận sẽ bao phủ khu vực đó.
Xin lưu ý rằng việc cắt theo kinh độ tối thiểu/tối đa của vùng UTM có nghĩa là không có đa giác nào cắt qua đường kinh tuyến đối diện, điều này sẽ giúp việc xử lý tệp này trở nên đơn giản hơn một chút.