Zezwalanie na ruch Google-Agent

Google-Agent to nazwa używana przez agenty hostowane w infrastrukturze Google do poruszania się po sieci i wykonywania działań na żądanie użytkownika. Wyraźne zezwolenie na ruch Google-Agent w sieci dostarczania treści (CDN), zaporze sieciowej aplikacji internetowej (WAF) lub usłudze wykrywania botów pomaga zapobiegać blokowaniu prawidłowych żądań przy zachowaniu dotychczasowych mechanizmów kontroli bezpieczeństwa.

Jak Google-Agent identyfikuje żądania

Każde żądanie Google-Agent zawiera nagłówek żądania HTTP User-Agent zawierający ciąg „Google-Agent” (zobacz moduły pobierania Google uruchamiane przez użytkownika) i pochodzi z adresu IP z pliku user-triggered-agents.json.

Google eksperymentuje też z protokołem Web Bot Auth, używając tożsamości https://agent.bot.goog. W tym eksperymencie Google podpisuje żądania wysyłane przez Google-Agent za pomocą standardu podpisów komunikatów HTTP (RFC 9421). Żądania uczestniczące w programie obejmują:

  • Nagłówek Signature-Agent ustawiony na g="https://agent.bot.goog"
  • Nagłówki Signature i Signature-Input oznaczone jako g

Zestaw kluczy publicznych do weryfikacji tych podpisów jest dostępny pod adresem: https://agent.bot.goog/.well-known/http-message-signatures-directory

Zezwalanie na ruch w sieci CDN, zaporze sieciowej lub usłudze wykrywania botów

Niektóre usługi wykrywania botów, sieci CDN i zapory sieciowe umożliwiają weryfikowanie żądań wysyłanych przez klienta użytkownika Google-Agent i zezwalanie na nie. Dokładne instrukcje znajdziesz u swojego dostawcy.

Jeśli Twoja usługa nie weryfikuje automatycznie żądań Google-Agent, możesz je zweryfikować i zezwolić na nie, korzystając z tych reguł:

  • Sprawdź, czy nagłówek User-Agent zawiera ciąg Google-Agent.
  • Sprawdź, czy adres IP znajduje się w pliku user-triggered-agents.json.
  • Jeśli podano podpisane żądanie, potwierdź je, weryfikując nagłówki Signature i Signature-Input dla Signature-Agent: g="https://agent.bot.goog" zgodnie z protokołem Web Bot Auth.
  • W przypadku zweryfikowanych żądań pomiń testy botów.

Rozwiązywanie problemów

Jeśli po zezwoleniu na te żądania prawidłowe żądania Google-Agent nadal są blokowane:

  • Priorytet reguły: sprawdź, czy reguła zezwalania ma wyższy priorytet niż szerokie blokady ASN chmury lub centrum danych, zarządzane reguły dotyczące botów lub zasady blokowania agentów AI na poziomie kategorii, które mogą zastąpić zweryfikowane ustawienie bota (i czy jest ona oceniana przed nimi).
  • Wyzwania interaktywne: sprawdź, czy reguła pomija interaktywne testy CAPTCHA i JavaScript oprócz blokad HTTP, w tym samodzielne widżety CAPTCHA na stronie, które są wywoływane podczas wyszukiwania lub przesyłania formularza.
  • Działania na ścieżce użytkownika i interfejsy API: sprawdź, czy zezwolenie na te żądania obejmuje działania wykraczające poza początkowe wczytywanie strony głównej, w tym wyszukiwanie w witrynie, filtrowanie, klikanie stron z informacjami, dodawanie do koszyka, rezerwowanie oraz podstawowe punkty końcowe XHR, GraphQL lub api.*.
  • Limity liczby żądań dla współdzielonych adresów IP: sprawdź, czy reguły ograniczania liczby żądań na adres IP uwzględniają zweryfikowane zakresy adresów IP Google-Agent lub wykluczają je, ponieważ żądania równoczesne od wielu użytkowników korzystają z tej samej puli adresów wyjściowych.
  • Aktualizacje zakresu adresów IP: sprawdź, czy reguły oparte na adresach IP są zgodne z najnowszymi zakresami w pliku user-triggered-agents.json.
  • Nagłówki serwera proxy: sprawdź, czy systemy równoważenia obciążenia i pośrednie serwery proxy zachowują pierwotny adres IP klienta, nagłówek User-Agent oraz (w przypadku podpisanych żądań) nagłówki Signature, Signature-Input i Signature-Agent.