Công cụ earthengine là một chương trình tiện ích cho phép bạn quản lý
tài sản và tác vụ của Earth Engine từ dòng lệnh. Thư viện này được cài đặt tự động khi bạn cài đặt API Python. Để kiểm tra xem công cụ đã được cài đặt và hoạt động đúng cách hay chưa, hãy nhập nội dung sau vào dòng lệnh:
earthengine
Nếu được cài đặt đúng cách, công cụ này sẽ in ra một bản tóm tắt ngắn gọn về các lệnh có sẵn. Để được trợ giúp về một lệnh cụ thể, hãy sử dụng:
earthengine command -h
Khi cài đặt API Python lần đầu, bạn cần đăng nhập bằng lệnh authenticate được mô tả bên dưới. Các phần sau đây mô tả chi tiết hơn về các lệnh có sẵn.
Thông tin đăng nhập tài khoản dịch vụ
Để sử dụng CLI với thông tin xác thực của tài khoản dịch vụ, hãy dùng cờ service_account_file để trỏ đến tệp JSON chứa khoá của tài khoản dịch vụ.
earthengine --service_account_file=service_account_creds.json
Sử dụng trong Colab
Công cụ dòng lệnh Earth Engine đã được cài đặt sẵn và sẵn sàng để sử dụng trong Google Colab.
Xác thực
Xác thực cho mỗi phiên Colab mới hoặc nếu máy ảo hết hạn do không hoạt động (thông tin xác thực không được lưu giữa các phiên).
Nhập thư viện ứng dụng Python và gọi ee.Authenticate() để kích hoạt quy trình xác thực. Làm theo lời nhắc để hoàn tất quy trình xác thực. auth_mode mặc định trong Colab là colab, hãy xem Hướng dẫn xác thực để biết các lựa chọn khác.
import ee
ee.Authenticate()
Thực thi lệnh
Để chạy các tiện ích dòng lệnh, chẳng hạn như CLI của Earth Engine, bạn cần thêm dấu chấm than vào trước các lệnh gọi lệnh.
!earthengine -h
Đặt dự án trên đám mây
Sử dụng tuỳ chọn --project để đặt dự án trên đám mây cho từng lệnh earthengine.
!earthengine --project my-project <command>
Ngoài ra, hãy đặt một dự án mặc định để tất cả lệnh gọi earthengine sử dụng bằng lệnh set_project. Dự án sẽ được thêm vào tệp thông tin xác thực (~/.config/earthengine/credentials) và được dùng cho các lệnh tiếp theo, trừ phi bị ghi đè bằng tuỳ chọn --project
!earthengine set_project my-project
Tài liệu tham khảo về lệnh
xác thực
Xác thực công cụ dòng lệnh và thư viện ứng dụng Python cho Earth Engine. Ví dụ:
earthengine authenticate
Earth Engine sử dụng giao thức OAuth 2.0 để xác thực ứng dụng. Lệnh earthengine authenticate sẽ nhắc bạn thực hiện quy trình xác thực bằng trình duyệt web.
Bạn cần cài đặt gcloud nếu
sử dụng chế độ xác thực gcloud mặc định. Xem các chế độ xác thực khác có sẵn thông qua tham số auth_mode trong hướng dẫn xác thực.
acl
In hoặc cập nhật danh sách kiểm soát quyền truy cập (ACL) của một tài sản Earth Engine. ACL kiểm soát những người có thể đọc hoặc ghi vào một thành phần. Ví dụ:
earthengine acl get projects/my-project/assets/asset_id
earthengine acl set public projects/my-project/assets/asset_id
earthengine acl ch -u username@gmail.com:R projects/my-project/assets/asset_id
Lệnh phụ get in nội dung mô tả JSON của ACL. Lệnh phụ set đặt một ACL được cung cấp trong tệp có cùng định dạng JSON. Bạn có thể sao chép ACL từ một tài sản sang các tài sản khác bằng cách lưu kết quả từ get và cung cấp kết quả đó cho set.
Lệnh phụ set cũng chấp nhận hai tên ACL đặc biệt:
private: Xoá quyền của mọi người, ngoại trừ chủ sở hữu.public: Cấp quyền đọc cho tất cả người dùng.
Lệnh phụ ch cho phép bạn thực hiện các thay đổi riêng lẻ đối với một ACL. Để cấp quyền đọc, hãy chỉ định -u username@gmail.com:R, để cấp quyền ghi, hãy chỉ định -u username@gmail.com:W và để xoá quyền của người dùng, hãy chỉ định -d
username@gmail.com. Bạn có thể sử dụng giá trị nhận dạng người dùng đặc biệt AllUsers để cấp hoặc thu hồi quyền đọc cho tất cả người dùng. (Lưu ý rằng việc thu hồi quyền của AllUsers không thu hồi bất kỳ quyền bổ sung nào mà bạn có thể đã cấp cho từng người dùng.)
thành phần
In hoặc cập nhật siêu dữ liệu liên kết với một tài sản Earth Engine. Ví dụ:
earthengine asset info projects/my-project/assets/asset_id
earthengine asset set -p name=value projects/my-project/assets/asset_id
earthengine asset setbands projects/my-project/assets/asset_id band1 band2
Lệnh phụ info in thông tin chi tiết về thành phần, bao gồm cả siêu dữ liệu của thành phần, ở dạng JSON. Lệnh phụ set đặt các thuộc tính siêu dữ liệu riêng lẻ cho một tài sản. Lệnh phụ setbands cập nhật tên dải của một thành phần.
Giá trị của các thuộc tính siêu dữ liệu mà bạn đặt có thể là số hoặc chuỗi.
Khi đặt tên thuộc tính bằng cờ --property hoặc -p, hãy phân tách tên và giá trị thuộc tính bằng dấu bằng. Kiểu dữ liệu được phát hiện tự động hoặc bạn có thể chỉ định rõ ràng bằng cách thêm tiền tố (string), (number) hoặc (date) vào tên thuộc tính. Ví dụ: đoạn mã sau đây đặt một thuộc tính có giá trị chuỗi thành "42":
earthengine asset set -p '(string)name=42' projects/my-project/assets/asset_id
(Dấu ngoặc kép trong ví dụ này ngăn shell diễn giải dấu ngoặc đơn. Các dấu ngoặc kép này có thể cần thiết hoặc không, tuỳ thuộc vào shell và nền tảng của bạn.)
Để tạo các thuộc tính đặc biệt cho hình ảnh trực quan của dải phân loại, bạn có thể lưu trữ danh sách các giá trị và màu sắc dưới dạng chuỗi được phân tách bằng dấu phẩy. Ví dụ:
để đặt giá trị bảng màu và lớp cho một dải có tên là landcover:
earthengine asset set -p 'landcover_class_palette=ff0000,00ff00,0000ff' projects/my-project/assets/asset_id
earthengine asset set -p 'landcover_class_values=1,2,3' projects/my-project/assets/asset_id
Để xoá một thuộc tính, hãy đặt thuộc tính đó thành null mà không có loại:
earthengine asset set -p name=null projects/my-project/assets/asset_id
Thuộc tính ngày chỉ là các số biểu thị số mili giây kể từ thời gian Unix (tức là nửa đêm ngày 1 tháng 1 năm 1970) và có thể được chỉ định trực tiếp dưới dạng số hoặc ở một trong các định dạng sau:
YYYY-MM-DD
YYYY-MM-DDThh:mm:ss
YYYY-MM-DDThh:mm:ss.f
Múi giờ được giả định là UTC. Bạn có thể đặt các thuộc tính thời gian bắt đầu và kết thúc đặc biệt bằng cách sử dụng cờ --time_start và --time_end:
earthengine asset set --time_start 1978-10-15T12:34:56 projects/my-project/assets/asset_id
cp
Sao chép một thành phần. Ví dụ:
earthengine cp projects/my-project/assets/asset_id projects/my-project/assets/new_asset_id
create
Tạo thư mục và bộ sưu tập hình ảnh mới. Ví dụ:
earthengine create folder projects/my-project/assets/folder_id
earthengine create collection projects/my-project/assets/collection_id
Sử dụng lệnh phụ folder để tạo thư mục và collection để tạo bộ sưu tập hình ảnh. Bạn có thể chỉ định tuỳ chọn -p để tạo thư mục mẹ theo cách đệ quy nếu cần. Theo mặc định, các thư mục và hình ảnh mới tạo sẽ có ACL riêng tư.
ls
Liệt kê nội dung của một hoặc nhiều thư mục hoặc bộ sưu tập. Ví dụ:
earthengine ls users/username
Lựa chọn -l yêu cầu định dạng dài với nhiều thông tin hơn về từng thành phần (hiện chỉ có loại thành phần). Bạn có thể chỉ định --max_items number (hoặc viết tắt là -m) để giới hạn số lượng mục trong mỗi thư mục hoặc bộ sưu tập mà bạn liệt kê:
earthengine ls -m 10 projects/my-project/assets/my_large_collection
Khi bạn chạy lệnh ls mà không có đối số, hệ thống sẽ liệt kê các thư mục cấp cao nhất mà bạn sở hữu.
kiểu máy
Công cụ để thao tác với các mô hình đã lưu của TensorFlow.
model prepare
Chuẩn bị một mô hình đã lưu để phân phát trong Earth Engine. Cụ thể, thao tác này sẽ chuyển đổi SavedModel của bạn thành một biểu mẫu phù hợp để xử lý các yêu cầu từ Earth Engine. (Tìm hiểu thêm về
SavedModel.)
earthengine model prepare my_source_dir my_dest_dir '{"Conv2D:0":"my_input_band"}' '{"Sigmoid:0":"my_output_band"}'
Tìm hiểu thêm về các mô hình nền tảng AI tại đây. Xem ví dụ hoàn chỉnh tại đây.
mv
Di chuyển hoặc đổi tên một thành phần. Ví dụ:
earthengine mv projects/my-project/assets/asset_id projects/my-project/assets/new_asset_id
project_config
Đặt giá trị cấu hình dự án. Trước khi sử dụng lệnh này, hãy nhớ đặt một dự án bằng set_project.
get
Để xem cấu hình dự án, hãy sử dụng lệnh phụ get:
earthengine alpha project_config get
Nếu bạn có quyền xem chế độ cài đặt tác vụ hàng loạt của dự án, thì kết quả sẽ chứa:
maxConcurrentExports: một số cho biết số lượng tác vụ theo lô tối đa có thể chạy song song cho tất cả người dùng trong dự án nhất định. Theo mặc định, hạn mức này được đặt ở mức tối đa mà gói thuê bao của tài khoản thanh toán liên kết cho phép.
Ngoài ra, nếu bạn có quyền xem cấu hình gói, thì kết quả sẽ chứa:
planMaxConcurrentExports, một số cho biết số lượng tác vụ theo lô tối đa có thể chạy song song trên tất cả người dùng và dự án sử dụng tài khoản thanh toán.
đặt
Để cập nhật cấu hình của dự án, hãy sử dụng lệnh phụ set. Bạn có thể định cấu hình
các chế độ cài đặt sau:
max_concurrent_exports, để kiểm soát mức độ song song tối đa của tác vụ theo lô của dự án- cần có quyền phù hợp
Ví dụ: để định cấu hình một dự án chỉ cho phép 10 tác vụ chạy song song cho dự án đó:
earthengine alpha project_config set --max_concurrent_exports=10
Kết quả sẽ hiển thị cấu hình dự án đã cập nhật, giống hệt với kết quả mà get trả về.
Để biết thêm thông tin về tính năng xử lý song song tác vụ theo lô, hãy xem trang Hạn mức của Earth Engine.
rm
Xoá một hoặc nhiều thành phần. Ví dụ:
earthengine rm projects/my-project/assets/asset_id
earthengine rm -r projects/my-project/assets/folder_id
Bạn có thể sử dụng cờ -r để xoá nội dung của một thư mục hoặc tập hợp
theo cách đệ quy. Để đảm bảo an toàn khi xoá nhiều thành phần, bạn có thể sử dụng cờ --dry_run để xác minh chính xác những gì sẽ bị xoá mà không thực sự xoá bất kỳ nội dung nào.
set_project
Đặt dự án trên đám mây của Google Cloud mà qua đó các yêu cầu tính toán được định tuyến.
earthengine set_project foo-project
Bạn cần có lệnh này trước khi chạy các lệnh yêu cầu chức năng của Cloud, ví dụ: model.
việc cần làm
In thông tin về hoặc quản lý các tác vụ chạy trong thời gian dài. Ví dụ:
earthengine task list
earthengine task list -l
earthengine task info TASK_ID
earthengine task cancel TASK_ID
Lệnh phụ list liệt kê thông tin cơ bản về các tác vụ mà bạn đã gửi gần đây. Lựa chọn -l yêu cầu định dạng dài và cung cấp thêm thông tin về từng nhiệm vụ. Lệnh phụ info in thông tin chi tiết về từng tác vụ. Lệnh phụ cancel huỷ một hoặc nhiều tác vụ đang chạy.
tải lên
Tải hình ảnh hoặc bảng từ Google Cloud Storage lên Earth Engine hoặc đăng ký GeoTIFF được tối ưu hoá cho đám mây (COG) trong Cloud Storage dưới dạng thành phần được COG hỗ trợ (hình ảnh bên ngoài).
hình ảnh
Cách tải thành phần hình ảnh lên bằng chế độ cài đặt mặc định:
earthengine upload image --asset_id=projects/my-project/assets/asset_id gs://bucket/image.tif
Nếu bạn chỉ định nhiều tệp hình ảnh đầu vào, thì các tệp đó sẽ được diễn giải dưới dạng các ô của một thành phần hình ảnh duy nhất. Bạn có thể tìm hiểu thêm về các lựa chọn tải hình ảnh lên Earth Engine trong bài viết Tải thành phần hình ảnh lên: Các lựa chọn nâng cao.
Bạn có thể chỉ định chính sách giảm kim tự tháp bằng cách sử dụng cờ --pyramiding_policy. Cờ này có thể được đặt thành một trong các giá trị mean (mặc định), sample, mode, min hoặc max. Thao tác này sẽ kiểm soát cách Earth Engine tạo kim tự tháp gồm các phiên bản có độ phân giải thấp hơn của hình ảnh:
earthengine upload image --asset_id=projects/my-project/assets/asset_id --pyramiding_policy=sample gs://bucket/image.tif
Bạn có thể sử dụng --last_band_alpha để cho biết rằng mặt nạ cho hình ảnh phải được lấy từ kênh alpha trong dải cuối cùng:
earthengine upload image --asset_id=projects/my-project/assets/asset_id --last_band_alpha gs://bucket/image.tif
Bạn có thể chỉ định giá trị không có dữ liệu bằng cờ --nodata_value. Thao tác này sẽ che mọi pixel trong hình ảnh có giá trị đó:
earthengine upload image --asset_id=users/myuser/asset --nodata_value=255 gs://bucket/image.tif
Bạn cũng có thể chỉ định các thuộc tính siêu dữ liệu để đặt trên thành phần bằng cách sử dụng cùng một cờ mà lệnh asset set chấp nhận như mô tả ở trên.
Các tuỳ chọn này cũng được mô tả trong hướng dẫn về Tệp kê khai hình ảnh.
bàn
Để tải Shapefile, CSV hoặc TFRecord từ Google Cloud Storage lên một thành phần bảng trong Earth Engine, bạn có thể sử dụng bất kỳ cách nào sau đây:
earthengine upload table --asset_id=projects/my-project/assets/myUploadedShapefile gs://bucket/foo.shp
earthengine upload table --asset_id=projects/my-project/assets/myUploadedCSV gs://bucket/foo.csv
earthengine upload table --asset_id=projects/my-project/assets/myUploadedTFRecord gs://bucket/foo.tfrecord
Có nhiều lựa chọn liên quan đến cách diễn giải tệp CSV và TFRecord. Bạn có thể xem danh sách đầy đủ các lựa chọn tải bảng lên bằng cách truy cập vào hướng dẫn về Tệp kê khai bảng hoặc bằng:
earthengine upload table -h
external_image
Để đăng ký Cloud Optimized GeoTIFF (COG) trong Cloud Storage dưới dạng tài sản được COG hỗ trợ (gọi là hình ảnh bên ngoài trong API), hãy chạy lệnh upload external_image bằng một tệp kê khai:
earthengine upload external_image --manifest /tmp/foo.json
Thêm --force để ghi đè lên một thành phần hiện có, ví dụ: để trỏ thành phần đó đến một phiên bản mới của tệp (xem phần cập nhật thành phần dựa trên COG).
Sau đây là một tệp kê khai mẫu:
{
"name": "projects/{project}/assets/cogdemo1",
"tilesets": [
{ "id": "0", "sources": [{ "uris": ["gs://ee-docs-demos/COG_demo.tif"] }] }
],
"properties": {
"source": "https://code.earthengine.google.com/d541cf8b268b2f9d8f834c255698201d"
},
"startTime": "2016-01-01T00:00:00.000000000Z",
"endTime": "2016-12-31T15:01:23.000000000Z"
}
Hãy xem hướng dẫn đăng ký COG và hướng dẫn về tệp kê khai hình ảnh để biết thêm thông tin chi tiết về cách tạo tệp kê khai.