برای اطمینان از یک تجربه کاربری خوب، گوگل بررسی خواهد کرد که لینکهای اقدام ارائه شده عملیاتی هستند و از سیاستهای اقدام مکانیابی پیروی میکنند. برای انجام این کار، گوگل از ترکیبی از بررسی انسانی و خودکار استفاده خواهد کرد.
بررسیهای دستی
گوگل یک تیم توزیعشده در سطح جهانی دارد. توصیه میشود که لینکهای اکشن در این مناطق مسدود نشوند تا از بهروزرسانی بهموقع و پشتیبانی پس از راهاندازی اطمینان حاصل شود.
بررسیهای خودکار (خزندهها)
خزندههای خودکار به صورت دورهای به لینکهای اکشن شما دسترسی پیدا میکنند تا از بارگذاری صحیح صفحات اطمینان حاصل کنند. اگر یک خزنده کد وضعیت HTTP 4xx یا 5xx (مانند 403 Forbidden یا 404 Not Found ) دریافت کند، لینک به عنوان خراب یا غیرقابل دسترس علامتگذاری شده و از جستجوی گوگل و نقشهها غیرفعال میشود.
تشخیص خزنده وب و پیکربندی فایروال
برای اطمینان از اینکه خزندههای وب مسدود نمیشوند (که باعث غیرفعال شدن لینکهای اکشن شما میشود)، مطمئن شوید که فایروال برنامه وب (WAF)، شبکه تحویل محتوا (CDN) یا قوانین محدودیت IP شما به خزندههای ما اجازه میدهد تا همیشه صفحات شما را جستجو کنند.
برای شناسایی و رفع انسداد خزندههای گوگل:
- خزندههای مرکز عملیات : عامل کاربری (User-Agent) شامل رشتهی
Google-Appointmentsخواهد بود (برای مثال:Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; Google-Appointments) Chrome/104.0.5112.101 Safari/537.36). فراخوانیها از نامهای میزبان پروکسی که از الگویgoogle-proxy-***-***-***-***.google.comپیروی میکنند، سرچشمه میگیرند. - خزندههای گوگلبات : خزندههای تأیید لینک نیز از رشتههای استاندارد عامل کاربر گوگلبات استفاده میکنند.
- تأیید : شما میتوانید با استفاده از جستجوی معکوس DNS (
*.googlebot.comیا*.google.com) همانطور که در «تأیید Googlebot و سایر خزندههای گوگل» توضیح داده شده است، تأیید کنید که درخواستهای ورودی واقعاً از گوگل هستند. - تست قابلیت خزش : میتوانید از ابزار بازرسی URL در کنسول جستجوی گوگل استفاده کنید تا آزمایش کنید که آیا ربات گوگل میتواند صفحات شما را با موفقیت خزش و رندر کند یا خیر. آدرس کامل URL خود را در نوار جستجو در بالای کنسول جستجوی گوگل قرار دهید، Enter را فشار دهید و روی Test Live URL کلیک کنید تا دادههای خزش، رندر و ایندکس را به صورت زنده مشاهده کنید.
اگر یک لینک اکشن به دلیل خطاهای خزنده غیرفعال شده باشد، بهروزرسانی تنظیمات سرور یا فایروال شما به گونهای که درخواستهای خزندههای گوگل 200 OK را برگردانند، امکان تأیید مجدد خودکار را برای رفع انسداد و بازیابی خودکار لینک فراهم میکند.
درخواستهای حذف کنسول جستجوی گوگل
علاوه بر بررسیهای خودکار خزندهها، اگر درخواستهای حذف URL فعال یا دامنه توسط مالک دامنه در کنسول جستجوی گوگل ارسال شده باشد، ممکن است لینکها غیرفعال شوند.
اگر لینکهای اکشن شما با وجود بازگشت 200 OK به خزندههای گوگل نمایش داده نمیشوند، کنسول جستجوی گوگل را بررسی کنید تا تأیید کنید که آیا درخواست حذفی برای دامنه یا URLهای شما ارسال شده است یا خیر، و هرگونه درخواست حذف قدیمی یا فعال را با استفاده از ابزار Removals کنسول جستجو لغو کنید.
ذخیره سازی
به منظور کاهش بار روی وبسایت همکار، خزندههای ما عموماً طوری پیکربندی شدهاند که به تمام هدرهای استاندارد ذخیرهسازی HTTP موجود در پاسخ احترام بگذارند. این بدان معناست که برای وبسایتهای پیکربندیشدهی صحیح، از واکشی مکرر محتوایی که به ندرت تغییر میکند (مانند کتابخانههای جاوا اسکریپت) خودداری میکنیم. برای جزئیات بیشتر در مورد نحوهی پیادهسازی ذخیرهسازی، این مستندات ذخیرهسازی HTTP را مطالعه کنید.