API แมชชีนเลิร์นนิง
แมชชีนเลิร์นนิง (ML) เป็นเทคนิคที่มีประสิทธิภาพในการวิเคราะห์ข้อมูลการสังเกตการณ์โลก Earth Engine มีความสามารถในตัวที่ช่วยให้ผู้ใช้สร้างและใช้โมเดล ML สำหรับสถานการณ์ทั่วไปได้ด้วย API ที่ใช้งานง่าย
งาน ML ทั่วไปคือการจัดประเภทพิกเซลในภาพถ่ายจากดาวเทียมออกเป็น 2 หมวดหมู่ขึ้นไป แนวทางนี้มีประโยชน์สำหรับการทำแผนที่การใช้ที่ดินและสิ่งปกคลุมดิน รวมถึงแอปพลิเคชันยอดนิยมอื่นๆ
- การจำแนกประเภทที่มีการควบคุมดูแล: เทคนิค ML อย่างหนึ่งในการจำแนกประเภทที่ดินคือการใช้ตัวอย่างข้อมูลที่เป็นความจริงเพื่อสอนโมเดลให้แยกแยะระหว่างคลาสต่างๆ ตัวแยกประเภทที่มีการควบคุมดูแลในตัวของ Earth Engine รองรับกระบวนการนี้
- การแยกประเภทที่ไม่มีการควบคุมดูแล: ในการแยกประเภทที่ไม่มีการควบคุมดูแล จะไม่มีการระบุตัวอย่างข้อมูลที่เป็นความจริงให้กับอัลกอริทึมการฝึก แต่อัลกอริทึมจะแบ่งข้อมูลที่มีอยู่ออกเป็นคลัสเตอร์ตามความแตกต่างที่มีอยู่แล้ว ตัวแยกประเภทที่ไม่มีการควบคุมดูแลของ Earth Engine มีประโยชน์อย่างยิ่งเมื่อไม่มีข้อมูลที่เป็นความจริง เมื่อคุณไม่ทราบจำนวนคลาสสุดท้าย หรือเมื่อต้องการทำการทดสอบอย่างรวดเร็ว
- การถดถอย: ในขณะที่โมเดลการแยกประเภทพยายามจัดกลุ่มอินพุตแต่ละรายการเป็นคลาสที่ไม่ต่อเนื่อง โมเดลการถดถอยจะพยายามคาดการณ์ตัวแปรต่อเนื่องสำหรับอินพุตแต่ละรายการ ตัวอย่างเช่น โมเดลการถดถอยสามารถคาดการณ์คุณภาพน้ำ เปอร์เซ็นต์พื้นที่ป่า เปอร์เซ็นต์เมฆปกคลุม หรือผลผลิตพืชผล ดูข้อมูลเพิ่มเติมได้ที่ส่วนการถดถอยเชิงเส้นของ ee.Reducers
การฝึกโมเดลและการคาดการณ์นอก Earth Engine
การเรียนรู้เชิงลึกและโครงข่ายระบบประสาทเทียมเป็นเทคนิคแมชชีนเลิร์นนิงที่ทำงานได้ดีกับข้อมูลที่ซับซ้อน เช่น ภาพถ่ายจากดาวเทียม API แมชชีนเลิร์นนิงของ Earth Engine ไม่รองรับทั้งการเรียนรู้เชิงลึกและโครงข่ายระบบประสาทเทียม แต่หากต้องการใช้ประโยชน์จากโมเดลเหล่านี้ คุณจะต้องใช้เฟรมเวิร์กอย่าง TensorFlow หรือ PyTorch และฝึกโมเดลนอก Earth Engine
นอกจากนี้ คุณยังอาจต้องการฝึกนอก Earth Engine หากคุ้นเคยกับเฟรมเวิร์กอย่าง scikit-learn สำหรับแมชชีนเลิร์นนิงแบบคลาสสิกหรือ XGBoost สำหรับแผนผังการตัดสินใจแบบเพิ่มระดับการไล่ระดับสีอยู่แล้ว
สุดท้าย คุณอาจต้องฝึกโมเดลนอก Earth Engine หากชุดข้อมูลมีขนาดใหญ่มากและเกินขีดจำกัดที่ระบุไว้ด้านล่าง
ส่งออกข้อมูลจาก Earth Engine เพื่อฝึก
- รูปแบบข้อมูล TFRecord ได้รับการเพิ่มประสิทธิภาพสำหรับการฝึกใน TensorFlow หน้าตัวอย่างแมชชีนเลิร์นนิงมีเวิร์กโฟลว์ TensorFlow หลายรายการที่สาธิตวิธีฝึกโมเดลโดยใช้ TFRecord
- หรือหากต้องการดูตัวอย่างวิธีดาวน์โหลดข้อมูลโดยใช้ Apache Beam ซึ่งโฮสต์ใน Google Cloud Dataflow แล้วฝึกใน Vertex AI โดยใช้ TensorFlow โปรดไปที่บทแนะนำการจัดประเภทสิ่งปกคลุมดินและทำตามColab Notebook
รับการคาดการณ์จากโมเดลภายนอก Earth Engine
หากฝึกโมเดลนอก Earth Engine คุณจะมีตัวเลือก 2-3 รายการในการรับการคาดการณ์จากโมเดลนั้น
-
แพ็กเกจ
ee.Modelของ Earth Engine ช่วยให้สามารถคาดการณ์โดยใช้ข้อมูลใน Earth Engine และโมเดลที่ผ่านการฝึกซึ่งโฮสต์บน Vertex AI ของ Google คุณสามารถโฮสต์โมเดลที่ฝึกเองใน Vertex AI และทำการอนุมานใน Earth Engine โดยตรงได้โดยใช้ee.Model.fromVertexAiดูข้อมูลเพิ่มเติมได้ที่คู่มือการคาดการณ์รูปภาพหรือคู่มือการคาดการณ์ตาราง - หรือบทแนะนำการแยกประเภทสิ่งปกคลุมดินจะสาธิตวิธีคาดการณ์โดยใช้บริการระบบคลาวด์ เช่น Cloud Functions
เหตุผลอื่นๆ ในการฝึกโมเดลนอก Earth Engine
นอกเหนือจากความคุ้นเคยและความชอบแล้ว คุณอาจต้องการฝึกโมเดลนอก Earth Engine หากต้องการใช้สถาปัตยกรรมโมเดล (เช่น โครงข่ายประสาทแบบคอนโวลูชัน) ที่ API แมชชีนเลิร์นนิงของ Earth Engine ไม่รองรับ หากต้องการใช้ฟีเจอร์เพิ่มเติมของ Vertex AI หรือหากพบขีดจำกัดการปรับขนาดด้วย API แมชชีนเลิร์นนิงของ Earth Engine
ขีดจำกัดของชุดฝึก
โดยทั่วไปแล้ว การฝึกโดยใช้ ee.Classifier หรือ ee.Clusterer จะมีประสิทธิภาพกับชุดข้อมูลที่มีขนาดไม่เกิน 100 MB หลักเกณฑ์คร่าวๆ คือ หากสมมติว่ามีความแม่นยำ 32 บิต (เช่น ทศนิยม) วิธีนี้จะรองรับชุดข้อมูลการฝึกที่ตรงตามเงื่อนไข (โดยที่ n คือจำนวนตัวอย่างและ b คือจำนวนแบนด์) ดังนี้
nb ≤ (100 * 2 20) / 4
ตัวอย่างเช่น หากคุณฝึกโดยใช้ 100 แบนด์ จำนวนตัวอย่างที่ใช้ในการฝึกควรน้อยกว่า 200,000 รายการ
ขีดจำกัดการอนุมาน
เนื่องจาก Earth Engine ประมวลผลชิ้นส่วนรูปภาพขนาด 256x256 คำขอการอนุมานในภาพจึงต้องมีแบนด์น้อยกว่า 400 แบนด์ (สมมติว่าภาพมีความแม่นยำ 32 บิต)
คุณสามารถฝึกตัวแยกประเภทซ้ำได้มากกว่า 1 ครั้งเพื่อเก็บชุดข้อมูลสำหรับการฝึกแต่ละครั้งให้อยู่ภายในขีดจำกัด
var trainings = ee.List.sequence(0, 3).map(function(cover) { return image.addBands(landcover.eq(cover).stratifiedSample(…) }) var classifier = ee.Classifier.smileCart() .train(trainings.get(0), "cover") .train(trainings.get(1), "cover") .train(trainings.get(2), "cover") .train(trainings.get(3), "cover")
ขีดจำกัดขนาดโมเดล
นอกจากนี้ โมเดลต้องมีขนาดไม่เกิน 100 MB ตัวแยกประเภทจำนวนมากของเราสามารถกำหนดค่าเพื่อจำกัดความซับซ้อนและขนาดได้ เช่น
var classifier = ee.Classifier.smileRandomForest({ numberOfTrees: 10, minLeafPopulation: 10, maxNodes: 10000 })