การสร้างชุดข้อมูลเป็นกระบวนการ 2 ขั้นตอน ดังนี้
ส่งคำขอเพื่อสร้างชุดข้อมูล
ส่งคำขออัปโหลดข้อมูลไปยังชุดข้อมูล
หลังจากอัปโหลดข้อมูลครั้งแรกแล้ว คุณจะอัปโหลดข้อมูลใหม่ไปยังชุดข้อมูลเพื่อสร้างชุดข้อมูลเวอร์ชันใหม่ได้
สร้างชุดข้อมูล
สร้างชุดข้อมูลโดยส่งคำขอ POST
ไปยังปลายทาง datasets ดังนี้
https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets
ส่งเนื้อหา JSON ไปยังคำขอที่กำหนดชุดข้อมูล คุณต้องปฏิบัติดังนี้
ระบุ
displayName
ของชุดข้อมูล ค่าของdisplayName
ต้องไม่ซ้ำกันสำหรับชุดข้อมูลทั้งหมดตั้งค่า
usage
เป็นUSAGE_DATA_DRIVEN_STYLING
เช่น
curl -X POST -d '{ "displayName": "My Test Dataset", "usage": "USAGE_DATA_DRIVEN_STYLING" }' \ -H 'X-Goog-User-Project: PROJECT_NUMBER_OR_ID' \ -H 'Content-Type: application/json' \ -H "Authorization: Bearer $TOKEN" \ "https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets"
การตอบกลับจะมีรหัสของชุดข้อมูลในรูปแบบ
projects/PROJECT_NUMBER_OR_ID/datasets/DATASET_ID
พร้อมข้อมูลเพิ่มเติม ใช้รหัสชุดข้อมูลเมื่อส่งคำขอเพื่อ
อัปเดตหรือแก้ไขชุดข้อมูล
{ "name": "projects/PROJECT_NUMBER_OR_ID/datasets/f57074a0-a8b6-403e-9df1-e9fc46", "displayName": "My Test Dataset", "usage": [ "USAGE_DATA_DRIVEN_STYLING" ], "createTime": "2022-08-15T17:50:00.189682Z", "updateTime": "2022-08-15T17:50:00.189682Z" }
อัปโหลดข้อมูลไปยังชุดข้อมูล
หลังจากสร้างชุดข้อมูลแล้ว ให้อัปโหลดข้อมูลจาก Google Cloud Storage หรือจากไฟล์ในเครื่องไปยังชุดข้อมูล
การดำเนินการอัปโหลดเป็นแบบอะซิงโครนัส หลังจากอัปโหลดข้อมูลแล้ว ระบบจะ ส่งผ่านและประมวลผลข้อมูล ซึ่งหมายความว่าคุณต้องส่งคำขอ HTTP GET เพื่อตรวจสอบ สถานะของชุดข้อมูลเพื่อพิจารณาว่าชุดข้อมูลพร้อมใช้งานเมื่อใด หรือมี ข้อผิดพลาดหรือไม่ ดูข้อมูลเพิ่มเติมได้ที่หัวข้อรับสถานะการประมวลผลข้อมูล
อัปโหลดข้อมูลจาก Cloud Storage
คุณอัปโหลดจาก Cloud Storage ไปยังชุดข้อมูลได้โดยส่งคำขอ POST
ไปยังปลายทาง datasets ซึ่งมีรหัสของชุดข้อมูลด้วย
https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets/DATASET_ID:import
ในส่วนเนื้อหาของคำขอ JSON
ใช้
inputUri
เพื่อระบุเส้นทางไฟล์ไปยังทรัพยากรที่มีข้อมูลใน Cloud Storage เส้นทางนี้อยู่ในรูปแบบgs://GCS_BUCKET/FILE
ผู้ใช้ที่ส่งคำขอต้องมีบทบาทStorage Object Viewer หรือบทบาทอื่นๆ ที่มีสิทธิ์
storage.objects.get
ดูข้อมูลเพิ่มเติมเกี่ยวกับการจัดการสิทธิ์เข้าถึง Cloud Storage ได้ที่ภาพรวมการควบคุมการเข้าถึงใช้
fileFormat
เพื่อระบุรูปแบบไฟล์ของข้อมูลเป็นอย่างใดอย่างหนึ่งต่อไปนี้FILE_FORMAT_GEOJSON
(ไฟล์ GeoJSON),FILE_FORMAT_KML
(ไฟล์ KML) หรือFILE_FORMAT_CSV
(ไฟล์ CSV)
เช่น
curl -X POST -d '{ "gcs_source":{ "inputUri": "gs://my_bucket/my_csv_file", "fileFormat": "FILE_FORMAT_CSV" } }' \ -H 'X-Goog-User-Project: PROJECT_NUMBER_OR_ID' \ -H "content-type: application/json" \ -H "Authorization: Bearer $TOKEN" \ "https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets/f57074a0-a8b6-403e-9df1-e9fc46:import"
คำตอบจะอยู่ในรูปแบบต่อไปนี้
{ "name": "projects/PROJECT_NUMBER_OR_ID/datasets/DATASET_ID@VERSION_NUMBER" }
อัปโหลดข้อมูลจากไฟล์
หากต้องการอัปโหลดข้อมูลจากไฟล์ ให้ส่งคำขอ HTTP POST
ไปยังปลายทาง
ชุดข้อมูล ซึ่งมีรหัสของชุดข้อมูลด้วย::
https://mapsplatformdatasets.googleapis.com/upload/v1/projects/PROJECT_NUMBER_OR_ID/datasets/DATASET_ID:import
คำขอประกอบด้วยข้อมูลต่อไปนี้
ตั้งค่าส่วนหัว
Goog-Upload-Protocol
เป็นmultipart
พร็อพเพอร์ตี้
metadata
ที่ระบุเส้นทางไปยังไฟล์ที่ระบุ ประเภทของข้อมูลที่จะอัปโหลดเป็นอย่างใดอย่างหนึ่งต่อไปนี้FILE_FORMAT_GEOJSON
(ไฟล์ GeoJSON)FILE_FORMAT_KML
(ไฟล์ KML) หรือFILE_FORMAT_CSV
(ไฟล์ CSV)เนื้อหาของไฟล์นี้มีรูปแบบดังนี้
{"local_file_source": {"file_format": "FILE_FORMAT_GEOJSON"}}
rawdata
พร็อพเพอร์ตี้ที่ระบุเส้นทางไปยังไฟล์ GeoJSON, KML หรือ CSV ที่มีข้อมูลที่จะอัปโหลด
คำขอต่อไปนี้ใช้ตัวเลือก curl -F
เพื่อระบุเส้นทางไปยังไฟล์ 2 ไฟล์
curl -X POST \ -H 'X-Goog-User-Project: PROJECT_NUMBER_OR_ID' \ -H "Authorization: Bearer $TOKEN" \ -H "X-Goog-Upload-Protocol: multipart" \ -F "metadata=@csv_metadata_file" \ -F "rawdata=@csv_data_file" \ "https://mapsplatformdatasets.googleapis.com/upload/v1/projects/PROJECT_NUMBER_OR_ID/datasets/f57074a0-a8b6-403e-9df1-e9fc46:import"
คำตอบจะอยู่ในรูปแบบต่อไปนี้
{ "name": "projects/PROJECT_NUMBER_OR_ID/datasets/DATASET_ID@VERSION_NUMBER" }
รับสถานะการประมวลผลข้อมูล
การดำเนินการอัปโหลดเป็นแบบอะซิงโครนัส ซึ่งหมายความว่าหลังจากที่การเรียก API เพื่ออัปโหลด ข้อมูลไปยังชุดข้อมูลส่งคืนแล้ว คุณจะต้องสำรวจชุดข้อมูลเพื่อพิจารณา ว่าการนำเข้าและการประมวลผลข้อมูลสำเร็จหรือไม่
หากต้องการระบุ state
ของชุดข้อมูล ให้ใช้รับชุดข้อมูล เช่น ขณะประมวลผลข้อมูล ระบบจะตั้งค่า state
เป็น STATE_PROCESSING
เมื่อชุดข้อมูลพร้อม
ใช้งานในแอปแล้ว ระบบจะตั้งค่า state
เป็น STATE_COMPLETED
เช่น เรียกใช้ GET ในชุดข้อมูล
curl -X GET \ -H "X-Goog-User-Project: PROJECT_NUMBER_OR_ID" \ -H "Authorization: Bearer $TOKEN" \ "https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets/f57074a0-a8b6-403e-9df1-e9fc46"
หากต้องการอัปโหลดให้สำเร็จ state
ของชุดข้อมูลต้องเป็น STATE_COMPLETED
{ "name": "projects/119757857/datasets/f57074a0-a8b6-403e-9df1-e9fc46", "displayName": "My Test Dataset", "description": " ", "versionId": "837c5a9e-c885-4a5f-a462-7e35673e5218", "usage": [ "USAGE_DATA_DRIVEN_STYLING" ], "localFileSource": { "filename": "Parks_Properties_20240529.csv", "fileFormat": "FILE_FORMAT_CSV" }, "createTime": "2024-05-30T16:41:11.130816Z", "updateTime": "2024-05-30T16:41:14.416130Z", "versionCreateTime": "2024-05-30T16:41:14.416130Z", "status": { "state": "STATE_COMPLETED", }, "sizeBytes": "6916924", "downloadable": true }
เมื่อการประมวลผลข้อมูลล้มเหลว ระบบจะตั้งค่า state
เป็นค่าอื่นที่ไม่ใช่
STATE_COMPLETED
เช่น STATE_PUBLISHING_FAILED
หรือสถานะใดก็ตามที่ลงท้ายด้วยสตริง
_FAILED
เช่น คุณอัปโหลดข้อมูลไปยังชุดข้อมูล แล้วส่งคำขอ GET
เพื่อรับรายละเอียดชุดข้อมูล นอกเหนือจากพร็อพเพอร์ตี้ state
แล้ว คำตอบยังมีพร็อพเพอร์ตี้ errorMessage
รายการเดียวซึ่งมีคำอธิบาย
ข้อผิดพลาดด้วย
{ "name": "projects/119757857/datasets/f57074a0-a8b6-403e-9df1-e9fc46", "displayName": "My Test Dataset", "description": " ", "versionId": "837c5a9e-c885-4a5f-a462-7e35673e5218", "usage": [ "USAGE_DATA_DRIVEN_STYLING" ], "localFileSource": { "filename": "Parks_Properties_20240529.csv", "fileFormat": "FILE_FORMAT_CSV" }, "createTime": "2024-05-30T16:41:11.130816Z", "updateTime": "2024-05-30T16:41:14.416130Z", "versionCreateTime": "2024-05-30T16:41:14.416130Z", "status": { "state": "STATE_PUBLISHING_FAILED", "errorMessage": "INVALID_ARGUMENT: Skipping row because address could not be geocoded: 5521 18 AVENUE (from line 79)" }, "sizeBytes": "6916924", "downloadable": true }
รับข้อผิดพลาดในการประมวลผลข้อมูล
เมื่อการนำเข้าและการประมวลผลข้อมูลล้มเหลว พร็อพเพอร์ตี้ errorMessage
จะมีข้อความเดียวที่อธิบายข้อผิดพลาด อย่างไรก็ตาม ข้อความแสดงข้อผิดพลาดเพียงข้อความเดียวอาจให้ข้อมูลไม่เพียงพอที่จะระบุและแก้ไขปัญหา
หากต้องการดูข้อมูลข้อผิดพลาดทั้งหมด ให้เรียกใช้
fetchDatasetErrors
API API นี้จะแสดงข้อผิดพลาดในการประมวลผลข้อมูลทั้งหมดที่เชื่อมโยงกับชุดข้อมูล
curl -X GET \ -H "X-Goog-User-Project: PROJECT_NUMBER_OR_ID" \ -H "Authorization: Bearer $TOKEN" \ "https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets/f57074a0-a8b6-403e-9df1-e9fc46:fetchDatasetErrors"
การตอบกลับมีอาร์เรย์ errors
อาร์เรย์นี้มีข้อผิดพลาดได้สูงสุด 50 รายการ
ประเภท Status
ต่อการเรียกใช้ 1 ครั้ง และรองรับข้อผิดพลาดได้สูงสุด 500 รายการโดยรวม
{ "nextPageToken": "cigKJkIkMTU3MzM0NjQtYzlmMy00YzYxLWIxM2YtYmVkYjFjYjRkYzRj", "errors": [ { "code": 3, "message": "INVALID_ARGUMENT: No address was derived from fields 2. (from line 631)" }, { "code": 3, "message": "INVALID_ARGUMENT: No address was derived from fields 2. (from line 457)" }, { "code": 3, "message": "INVALID_ARGUMENT: No address was derived from fields 2. (from line 31)" }, ... ] }
หากมีข้อผิดพลาดมากกว่า 50 รายการ ซึ่งหมายความว่ามีข้อผิดพลาดมากกว่า 1 หน้า การตอบกลับจะมีโทเค็นหน้าในช่อง nextPageToken
ส่งค่านั้นในพารามิเตอร์การค้นหา pageToken
ของการเรียกครั้งถัดไปเพื่อรับ
ข้อผิดพลาดในหน้าถัดไป เมื่อ nextPageToken
ว่างเปล่า แสดงว่าไม่มีหน้าเว็บอีกต่อไป
ตัวอย่างเช่น หากต้องการดูข้อผิดพลาดในหน้าถัดไปโดยใช้โทเค็นจาก การตอบกลับก่อนหน้า ให้ทำดังนี้
curl -X GET \ -H "content-type: application/json" \ -H "X-Goog-User-Project: PROJECT_NUMBER_OR_ID" \ -H "Authorization: Bearer $TOKEN" \ "https://mapsplatformdatasets.googleapis.com/v1/projects/PROJECT_NUMBER_OR_ID/datasets/f57074a0-a8b6-403e-9df1-e9fc46:fetchDatasetErrors?pageToken=cigKJkIkMTU3MzM0NjQtYzlmMy00YzYxLWIxM2YtYmVkYjFjYjRkYzRj"
โดยค่าเริ่มต้น การตอบกลับจะมีข้อผิดพลาดสูงสุด 50 รายการต่อหน้า ใช้พารามิเตอร์การค้นหา pageSize
เพื่อควบคุมขนาดหน้าเว็บ
อัปโหลดข้อมูลใหม่ไปยังชุดข้อมูล
หลังจากสร้างชุดข้อมูลและอัปโหลดข้อมูลเริ่มต้นเรียบร้อยแล้ว สถานะของชุดข้อมูลจะเปลี่ยนเป็น STATE_COMPLETED
ซึ่งหมายความว่าชุดข้อมูลพร้อมที่จะ
ใช้ในแอปแล้ว หากต้องการทราบstate
ของชุดข้อมูล โปรดดูรับชุดข้อมูล
นอกจากนี้ คุณยังอัปโหลดข้อมูลใหม่ไปยังชุดข้อมูลเพื่อสร้างชุดข้อมูลเวอร์ชันใหม่ได้ด้วย หากต้องการอัปโหลดข้อมูลใหม่ ให้ใช้กระบวนการเดียวกับที่ใช้อัปโหลดข้อมูลจาก Cloud Storage หรืออัปโหลดข้อมูลจากไฟล์ และระบุข้อมูลใหม่ที่จะอัปโหลด
หากอัปโหลดข้อมูลใหม่สำเร็จ ให้ทำดังนี้
สถานะของชุดข้อมูลเวอร์ชันใหม่จะตั้งค่าเป็น
STATE_COMPLETED
เวอร์ชันใหม่จะกลายเป็นเวอร์ชัน "ใช้งานอยู่" และเป็นเวอร์ชันที่แอปของคุณใช้
หากเกิดข้อผิดพลาดในการอัปโหลด ให้ทำดังนี้
สถานะของชุดข้อมูลเวอร์ชันใหม่จะตั้งค่าเป็นสถานะใดสถานะหนึ่งต่อไปนี้
STATE_IMPORT_FAILED
STATE_PROCESSING_FAILED
STATE_PUBLISHING_FAILED
STATE_DELETION_FAILED
เวอร์ชันที่สำเร็จของชุดข้อมูลก่อนหน้าจะยังคงเป็นเวอร์ชัน "ที่ใช้งานอยู่" และเป็นเวอร์ชันที่แอปของคุณใช้