Zezwalanie na ruch Google-Agent
Google-Agent to nazwa używana przez agenty hostowane w infrastrukturze Google do poruszania się po sieci i wykonywania działań na żądanie użytkownika. Wyraźne zezwolenie na ruch Google-Agent w sieci dostarczania treści (CDN), zaporze sieciowej aplikacji internetowej (WAF) lub usłudze wykrywania botów pomaga zapobiegać blokowaniu prawidłowych żądań przy zachowaniu dotychczasowych mechanizmów kontroli bezpieczeństwa.
Jak Google-Agent identyfikuje żądania
Każde żądanie Google-Agent zawiera nagłówek żądania HTTP User-Agent zawierający ciąg „Google-Agent” (zobacz moduły pobierania Google uruchamiane przez użytkownika) i pochodzi z adresu IP z pliku user-triggered-agents.json.
Google eksperymentuje też z protokołem Web Bot Auth, używając tożsamości https://agent.bot.goog.
W tym eksperymencie Google podpisuje żądania wysyłane przez Google-Agent za pomocą standardu podpisów komunikatów HTTP (RFC 9421).
Żądania uczestniczące w programie obejmują:
- Nagłówek
Signature-Agentustawiony nag="https://agent.bot.goog" - Nagłówki
SignatureiSignature-Inputoznaczone jakog
Zestaw kluczy publicznych do weryfikacji tych podpisów jest dostępny pod adresem: https://agent.bot.goog/.well-known/http-message-signatures-directory
Zezwalanie na ruch w sieci CDN, zaporze sieciowej lub usłudze wykrywania botów
Niektóre usługi wykrywania botów, sieci CDN i zapory sieciowe umożliwiają weryfikowanie żądań wysyłanych przez klienta użytkownika Google-Agent i zezwalanie na nie. Dokładne instrukcje znajdziesz u swojego dostawcy.
Jeśli Twoja usługa nie weryfikuje automatycznie żądań Google-Agent, możesz je zweryfikować i zezwolić na nie, korzystając z tych reguł:
- Sprawdź, czy nagłówek
User-Agentzawiera ciągGoogle-Agent. - Sprawdź, czy adres IP znajduje się w pliku user-triggered-agents.json.
-
Jeśli podano podpisane żądanie, potwierdź je, weryfikując nagłówki
SignatureiSignature-InputdlaSignature-Agent: g="https://agent.bot.goog"zgodnie z protokołem Web Bot Auth. - W przypadku zweryfikowanych żądań pomiń testy botów.
Rozwiązywanie problemów
Jeśli po zezwoleniu na te żądania prawidłowe żądania Google-Agent nadal są blokowane:
- Priorytet reguły: sprawdź, czy reguła zezwalania ma wyższy priorytet niż szerokie blokady ASN chmury lub centrum danych, zarządzane reguły dotyczące botów lub zasady blokowania agentów AI na poziomie kategorii, które mogą zastąpić zweryfikowane ustawienie bota (i czy jest ona oceniana przed nimi).
- Wyzwania interaktywne: sprawdź, czy reguła pomija interaktywne testy CAPTCHA i JavaScript oprócz blokad HTTP, w tym samodzielne widżety CAPTCHA na stronie, które są wywoływane podczas wyszukiwania lub przesyłania formularza.
-
Działania na ścieżce użytkownika i interfejsy API: sprawdź, czy zezwolenie na te żądania obejmuje działania wykraczające poza początkowe wczytywanie strony głównej, w tym wyszukiwanie w witrynie, filtrowanie, klikanie stron z informacjami, dodawanie do koszyka, rezerwowanie oraz podstawowe punkty końcowe XHR, GraphQL lub
api.*. -
Limity liczby żądań dla współdzielonych adresów IP: sprawdź, czy reguły ograniczania liczby żądań na adres IP uwzględniają zweryfikowane zakresy adresów IP
Google-Agentlub wykluczają je, ponieważ żądania równoczesne od wielu użytkowników korzystają z tej samej puli adresów wyjściowych. - Aktualizacje zakresu adresów IP: sprawdź, czy reguły oparte na adresach IP są zgodne z najnowszymi zakresami w pliku user-triggered-agents.json.
-
Nagłówki serwera proxy: sprawdź, czy systemy równoważenia obciążenia i pośrednie serwery proxy zachowują pierwotny adres IP klienta, nagłówek
User-Agentoraz (w przypadku podpisanych żądań) nagłówkiSignature,Signature-InputiSignature-Agent.