วันพุธที่ 11 พฤศจิกายน 2569
การติดตั้งใช้งานเครือข่ายนำส่งข้อมูล (CDN) เพื่อกระจายเนื้อหาของเว็บไซต์ไปยังเซิร์ฟเวอร์ปลายทางที่รวดเร็วและกระจายอยู่ทั่วโลกซึ่งอยู่ใกล้กับผู้ใช้มากขึ้นอาจเป็นการอัปเกรดครั้งสำคัญสำหรับเว็บไซต์ที่กำลังเติบโต เนื่องจากช่วยลดเวลาในการตอบสนองของผู้เข้าชมและปกป้องเซิร์ฟเวอร์ต้นทาง (แหล่งข้อมูลแบ็กเอนด์ที่เก็บเนื้อหาต้นฉบับ) จากการเข้าชมจำนวนมาก
ฟังดูสมบูรณ์แบบใช่ไหม แต่ช่วงเปลี่ยนผ่านอาจจะแปลกๆ หน่อย
บางครั้งเราได้ยินจากเจ้าของเว็บไซต์ว่าหลังจากนำเว็บไซต์ไปไว้หลัง CDN แล้ว การเข้าชมของ Crawler ไปยังเซิร์ฟเวอร์จะเพิ่มขึ้นเกือบจะในทันที ซึ่งเป็นสิ่งที่เจ้าของเว็บไซต์พยายามแก้ไขอยู่พอดี ก่อนที่เซิร์ฟเวอร์ปลายทางเหล่านั้นจะป้อนข้อมูลแคช ระบบยังคงต้องดึงข้อมูลทั้งการเข้าชมของผู้ใช้และคำขอของ Crawler จากต้นทางโดยตรง
เมื่อเปลี่ยนไปใช้ CDN คุณควรตรวจสอบทั้งวิธีการทำงานของ Crawl Budget และวิธีลดอัตราการ Crawl ของ Google ในกรณีฉุกเฉิน บล็อกโพสต์นี้มีจุดประสงค์เพื่อแนะนำสิ่งที่คุณคาดหวังได้จากการย้ายดังกล่าวและความท้าทายบางอย่างที่เกี่ยวข้อง นอกจากนี้ เรายังเตรียมพร้อม (ด้วยหมวกนิรภัยและสายดับเพลิง) เพื่อแนะนำวิธีจัดการกับการเปลี่ยนผ่านในตอนที่ 5 ของ The Non-Canonical Cabinet หากคุณเคยเปลี่ยนไปใช้ CDN และสงสัยเกี่ยวกับการเข้าชมใหม่ทั้งหมด หรือหากต้องการหลีกเลี่ยงไม่ให้เว็บไซต์หลุดออกจาก Search โดยไม่ตั้งใจ บทความนี้เหมาะสำหรับคุณ
เหตุใดทุกอย่างจึงทำการ Crawl ทุกที่พร้อมกัน
เมื่อเปลี่ยนไปใช้ CDN การเข้าชมของ Crawler ที่เพิ่มขึ้นอย่างรวดเร็วอาจเกิดขึ้นเนื่องจากวิธีที่โครงสร้างพื้นฐานการ Crawl ของ Google คำนวณขีดจำกัดความสามารถในการ Crawl ของเว็บไซต์ (หรือที่เรียกว่า Hostload)
- การตอบสนองที่ช้าลงเรื่อยๆ จะลดอัตราการ Crawl โครงสร้างพื้นฐานการ Crawl อัตโนมัติของ Google จะตรวจสอบประสิทธิภาพและการตอบสนองของเซิร์ฟเวอร์โฮสต์อย่างต่อเนื่อง เมื่อเวลาในการตอบสนองเพิ่มขึ้น Crawler ของเราจะทำงานช้าลงเพื่อไม่ให้เซิร์ฟเวอร์ทำงานหนักเกินไปและเพื่อหลีกเลี่ยงการลดคุณภาพประสบการณ์ของผู้ใช้ในเว็บไซต์
- การตอบสนองที่รวดเร็วและเสถียรจะช่วยเร่งการ Crawl เมื่อเซิร์ฟเวอร์ตอบสนองอย่างรวดเร็วและสม่ำเสมอ ระบบของเราจะตีความความเร็วนั้นว่าเป็นสัญญาณของโครงสร้างพื้นฐานที่มีประสิทธิภาพและทำงานได้ดี หากมีความต้องการ Crawl ขีดจำกัดความสามารถในการ Crawl จะค่อยๆ เพิ่มขึ้น
ทันทีที่ DNS ชี้ไปยังเครือข่ายปลายทาง CDN ที่รวดเร็ว เวลาในการเชื่อมต่อและเวลาในการตอบสนองจะลดลงอย่างมาก สำหรับระบบการ Crawl ของเรา ดูเหมือนว่าเซิร์ฟเวอร์ของคุณเพิ่งได้รับการอัปเกรดฮาร์ดแวร์ครั้งใหญ่ Crawler ของเราจึงเริ่มเพิ่มอัตราการส่งคำขอให้สอดคล้องกัน
ปัญหา ไม่พบแคชในเซิร์ฟเวอร์ปลายทาง
อัตราการ Crawl ที่สูงขึ้นจะไม่เป็นปัญหาหาก CDN ดูดซับคำขอทั้งหมดเหล่านั้นที่ Edge แต่ข้อควรระวังคือ CDN ใหม่จะเริ่มต้นด้วยแคชว่าง (Cold Cache)
ในคำขอแรกสุดสำหรับ URL ที่ตำแหน่ง Edge นั้น CDN จะยังไม่มีสำเนาของเนื้อหาดังกล่าว (เอกสาร HTML, CSS, JavaScript, รูปภาพ และอื่นๆ) ซึ่งหมายความว่าไม่พบแคช เพื่อตอบสนองคำขอดังกล่าว เซิร์ฟเวอร์ปลายทางต้อง "เดิน" กลับไปที่เซิร์ฟเวอร์ต้นทาง จัดเก็บสำเนาที่แคชได้ไว้สำหรับตัวเอง แล้วแสดงต่อไคลเอ็นต์ เฉพาะคำขอต่อๆ ไปสำหรับ URL ที่แคชไว้เดียวกันนั้นเท่านั้นที่จะกลายเป็นพบแคชที่แสดงจาก Edge โดยตรงโดยไม่รบกวนต้นทาง (ในวิดีโอของเรา เซิร์ฟเวอร์ปลายทางแสดงเป็นไก่ยางที่วิ่งไปมาเพื่อหยิบกระดาษโน้ตที่ซ้อนกัน แผนภาพเครือข่ายเป็นเรื่องที่ขึ้นอยู่กับมุมมองของแต่ละคน)
โดยพื้นฐานแล้ว คอขวดที่แท้จริงระหว่างการเปิดตัว CDN ยังคงเป็นเซิร์ฟเวอร์ต้นทาง
ผู้เข้าชมที่เป็นมนุษย์มักจะรวมกลุ่มกันอยู่รอบๆ ชุดหน้าเว็บยอดนิยมที่ค่อนข้างเล็ก (หน้าแรก บทความยอดนิยม หรือโปรโมชันที่ใช้งานอยู่) ซึ่งจะเตรียมข้อมูลลงแคชของ CDN อย่างรวดเร็ว Crawler ทำตรงกันข้าม หน้าที่ของ Crawler คือการสำรวจคลัง URL ของคุณอย่างเป็นระบบ
ตอนนี้ให้รวมพฤติกรรมทั้ง 2 อย่างนี้เข้าด้วยกัน
- การตอบสนองที่รวดเร็วของ Edge จะส่งสัญญาณให้ Crawler ของ Google ทราบว่าทำการ Crawl ได้เร็วขึ้นอย่างปลอดภัย
- เมื่อ Crawler ทำงานผ่าน URL จำนวนมากเหล่านั้นเป็นครั้งแรก URL ที่ไม่ได้แคชทุกรายการจะทริกเกอร์การไม่พบแคชซึ่งจะส่งตรงไปยังเซิร์ฟเวอร์ต้นทาง
Crawler จะไม่เพิ่มอัตราการ Crawl ในทันที และ CDN จำนวนมากมีการควบคุมจังหวะการเชื่อมต่อในตัวที่ช่วยลดการเข้าชมที่เพิ่มขึ้นอย่างรวดเร็ว ถึงกระนั้น จนกว่าแคช Edge จะได้รับการป้อนข้อมูล (เตรียมข้อมูลลงแคช) CDN ของคุณจะยังไม่ทำหน้าที่เป็นเกราะป้องกัน และเซิร์ฟเวอร์ต้นทางจะยังคงทำงานหนักอยู่
เจ้าจงอย่า crawl! เมื่อการป้องกันบอตแบบครอบคลุมทั้งหมดไปไกลเกินไป
การเห็นคำขออัตโนมัติที่เพิ่มขึ้นอย่างไม่คาดคิดในบันทึกต้นทางทันทีหลังจากการย้ายข้อมูลอาจทำให้ผู้ดูแลระบบกังวลได้ หากไม่ทราบสาเหตุที่ทำให้เกิดปัญหานี้ คุณอาจอยากดูกราฟคำขอที่เพิ่มขึ้นอย่างรวดเร็วเมื่อแคชกำลังเตรียมข้อมูลลงแคช และพยายามแก้ไขปัญหานี้โดยเข้าสู่ระบบแดชบอร์ด CDN และเปิดการป้องกันบอตแบบครอบคลุมทั้งหมด จากคำพูดของเชอร์รี่ "บอตจงอย่าผ่าน"!
ปัญหาของกฎความปลอดภัยแบบครอบคลุมทั้งหมดอยู่ที่ชื่อ หากไม่มีการยกเว้น กฎเหล่านี้จะถือว่าการเข้าชมอัตโนมัติทั้งหมดเหมือนกัน รวมถึงการเข้าชมจาก Crawler ที่คุณสนใจ เมื่อ CDN หรือไฟร์วอลล์สำหรับเว็บแอปพลิเคชัน (WAF) แจ้งว่ามีคำขออัตโนมัติและสกัดกั้นคำขอเหล่านั้นด้วยมาตรการทดสอบ เช่น CAPTCHA Crawler ของ Google จะไม่ผ่านการทดสอบ (Googlebot มีความสามารถหลายอย่าง แต่การมองเห็นสัญญาณไฟจราจรและไก่ยางไม่ใช่หนึ่งในนั้น อันที่จริงแล้ว บางครั้งแม้แต่ Gary ก็แก้ปัญหาไม่ได้)
การเปิดใช้การป้องกันบอตแบบครอบคลุมทั้งหมดโดยไม่ยกเว้น Crawler ที่ผ่านการตรวจสอบแล้วจะทำให้ Crawler ติดอยู่ที่หน้าแสดงข้อผิดพลาดซึ่งไม่มีประโยชน์สำหรับ Search หรือผลิตภัณฑ์อื่นๆ ที่ใช้ข้อมูลที่ Crawl ในมุมมองของเรา เว็บไซต์ของคุณดูเหมือนถูกจำกัดหรือใช้งานไม่ได้โดยเจตนา หากปล่อยไว้ Crawler ของเราจะถอยกลับ และหน้าเว็บ ข้อมูลสินค้าที่แสดง และรูปภาพไก่ของคุณจะเริ่มหลุดออกจาก Search
วิธีฝึก CDN (โดยไม่ทำให้ต้นทางเสียหาย)
คุณไม่จำเป็นต้องจ้างเจ้าหน้าที่ดับเพลิงเพื่อติดตั้งใช้งาน CDN แต่คุณต้องมีความคาดหวังที่ถูกต้องและแผนการดำเนินการ เช่น
- หากต้องการบล็อกบอต ให้อนุญาตบอตที่ผ่านการตรวจสอบแล้วในการตั้งค่า CDN และไฟร์วอลล์ CDN และ WAF รายใหญ่ส่วนใหญ่มีปุ่มเปิด/ปิดในตัวหรือกฎที่มีการจัดการเพื่ออนุญาตบอตที่รู้จัก/ผ่านการตรวจสอบแล้ว ซึ่งช่วยให้ Crawler ที่คุณต้องการข้ามมาตรการทดสอบ CAPTCHA ได้ ขณะเดียวกันก็ยังกรองการเข้าชมที่ไม่ต้องการออก (คุณระบุ Crawler ของเราได้ผ่านช่วง IP ที่เผยแพร่ของ Google) หรือจะกำหนดค่าไฟล์ robots.txt หรือใช้กฎเพื่อกำหนดเป้าหมายบอตที่ไม่ต้องการบางรายการแทนการบล็อกไคลเอ็นต์อัตโนมัติทั้งหมดก็ได้
- โหลดข้อมูลลงแคชล่วงหน้าก่อนเปิดรับการเข้าชมจำนวนมาก ก่อนกำหนดเส้นทางการเข้าชมทั้งหมดผ่าน CDN ใหม่ ให้ใช้โปรแกรมดึงข้อมูลหน้าเว็บที่มีการเข้าชมสูงสุด หน้าเว็บที่ใกล้จะมีการเข้าชมสูงสุด (เช่น การเปิดตัวโปรโมชันหรือตามฤดูกาล) และ URL ที่มีการ Crawl บ่อยที่สุดผ่าน CDN ด้วยความเร็วที่ควบคุมได้ เพื่อให้แคช Edge พร้อมรองรับการเข้าชม หรือหากคุณมีเพื่อน (ไม่เหมือนกับ Gary ที่ไม่มี) ก็ขอให้เพื่อนเข้าถึง URL ที่แตกต่างกัน 2 รายการ วิธีนี้ก็ใช้ได้เช่นกัน
-
ใช้
429หรือ503หากต้องการหยุดชั่วคราว หากปริมาณการ Crawl ยังคงทำให้ต้นทางทำงานหนักมากขณะที่แคชกำลังเตรียมข้อมูลลงแคช ให้กำหนดค่าเซิร์ฟเวอร์หรือกฎการจำกัดอัตราของ CDN เพื่อแสดงรหัสสถานะ HTTP429 (Too Many Requests)หรือ503 (Service Unavailable)เป็นระยะเวลาสั้นๆ (ไม่กี่ชั่วโมงหรืออย่างมาก 1-2 วัน) ตามที่ระบุไว้ในคำแนะนำในการลดอัตราการ Crawl ของ Google อย่างเร่งด่วน
สรุปสั้นๆ (ใครจะสรุปไว้ตอนท้ายกัน)
ก่อนที่คุณจะพันสายอีเทอร์เน็ตรอบตู้เซิร์ฟเวอร์และเลิกงาน โปรดจำ 3 สิ่งต่อไปนี้เมื่อเปลี่ยนไปใช้ CDN
- การตอบสนองที่เร็วขึ้นหมายถึงการ Crawl ที่เร็วขึ้น: เวลาในการตอบสนองของ Edge CDN ที่ต่ำจะส่งสัญญาณให้ Crawler ของ Google ทราบว่าเว็บไซต์ของคุณทำงานได้ดีและรองรับอัตราการ Crawl ที่สูงขึ้นได้
- แคชจะปกป้องคุณในการเข้าชมครั้งที่ 2 เท่านั้น: ในแคชว่าง (Cold Cache) คำขอแรกสำหรับ URL ที่ไม่ซ้ำกันทุกรายการจะไม่พบแคชซึ่งจะส่งตรงไปยังเซิร์ฟเวอร์ต้นทาง โหลดข้อมูลลงแคชล่วงหน้าหากทำได้
-
หากจำเป็น ให้ยกเว้น Crawler ที่ผ่านการตรวจสอบแล้วจากมาตรการทดสอบบอต: อย่าปล่อยให้กฎ WAF หรือ CAPTCHA แบบครอบคลุมทั้งหมดบล็อก Crawler ของ Google ด้วยหน้า
403หรือหน้ามาตรการทดสอบ ให้ใช้การยกเว้นบอตที่ผ่านการตรวจสอบแล้ว และใช้การตอบกลับ429หรือ503ชั่วคราวหากต้นทางต้องการหยุดพักจริงๆ
ก็น่าสนุกดีใช่ไหมล่ะ! ไปดูกันเลย!
ดูตอนสุดท้ายของซีซัน 1 (ตอนที่ 5) ของ The Non-Canonical Cabinet เราอธิบายสถาปัตยกรรมเครือข่ายโดยใช้หมวกนิรภัยพลาสติก ตู้เก็บเอกสารที่มีควัน และไก่ยางที่ทำหน้าที่เป็นเซิร์ฟเวอร์ปลายทาง ซึ่งเราค่อนข้างมั่นใจว่าไม่มีสิ่งใดอยู่ในรายละเอียดงานเดิมของเรา
หากสนใจดูซีซัน 1 ทั้งหมด เราพยายามทำให้ URL และ robots.txt ใช้งานไม่ได้ เราพูดถึง 404 และการเปลี่ยนเส้นทาง
ดูทั้ง 5 ตอน
เรารับประกันว่าคุณจะได้รับข้อมูลเกี่ยวกับไก่อย่างจุใจ
หากมีกรณีพิเศษแปลกๆ ที่คุณต้องการให้เรานำออกจากตู้เก็บเอกสาร (ที่โดนเผาไปนิดๆ) ในซีซันหน้า (ขึ้นอยู่กับงบประมาณ) โปรดแสดงความคิดเห็นในวิดีโอ
เตรียมแคชให้พร้อม จัดระเบียบไฟร์วอลล์ และห่อไก่ยางด้วยพลาสติกกันกระแทก