Usuwanie adresów URL, cz. 1. Adresy URL i katalogi

Wtorek, 30 marca 2010 roku

Obecnie w internecie jest wiele treści. W internecie może pojawić się coś, czego sobie nie życzysz. Może to być kontrowersyjny post na blogu, którego opublikowania żałujesz, albo informacje poufne, które zostały przypadkowo ujawnione. W większości przypadków usunięcie lub ograniczenie dostępu do tych treści zwykle po jakimś czasie spowoduje, że naturalnie znikną z wyników wyszukiwania. Jeśli jednak musisz pilnie usunąć niechciane treści, które zostały zindeksowane przez Google, i nie możesz doczekać się ich naturalnego zniknięcia, możesz użyć naszego narzędzia do usuwania adresów URL, aby przyspieszyć usuwanie treści z wyników wyszukiwania. Te treści muszą spełniać określone kryteria (omówimy je poniżej).

Przygotowaliśmy serię postów na blogu, z których dowiesz się, jak usuwać różne typy treści i jakich częstych błędów należy unikać. W pierwszym poście opiszę kilka podstawowych scenariuszy: usuwanie pojedynczego adresu URL, usuwanie całego katalogu lub witryny oraz ponowne uwzględnienie usuniętych treści. Zdecydowanie polecam też poprzedni post o zarządzaniu informacjami o Tobie dostępnymi w internecie.

Usuwanie pojedynczego adresu URL

Aby żądania usunięcia treści zostały zaakceptowane, właściciel adresów URL (niezależnie od tego, czy to Ty, czy inna osoba) musi zgodzić się na usunięcie treści. W przypadku pojedynczego adresu URL można to oznaczyć na 3 sposoby:

Zanim prześlesz prośbę o usunięcie treści, możesz sprawdzić, czy adres URL jest prawidłowo zablokowany:

  • Plik robots.txt: używając funkcji Pobierz jako Googlebot lub Test pliku robots.txt w Narzędziach dla webmasterów możesz sprawdzić, czy URL jest prawidłowo zablokowany.
  • Tag noindex meta: funkcja „Pobierz jako Googlebot” pozwala sprawdzić, czy tag meta znajduje się między tagami <head> i </head>. Jeśli chcesz sprawdzić stronę, której nie możesz zweryfikować w Narzędziach dla webmasterów, możesz otworzyć jej adres URL w przeglądarce: Widok > Źródło strony i upewnić się, że między tagami <head> i </head> jest tag meta.
  • Kod stanu 404 i 410: możesz użyć narzędzia Pobierz jako Googlebot lub narzędzi takich jak nagłówki HTTP strony opublikowanej lub web-sniffer.net do sprawdzenia, czy adres URL zwraca właściwy kod. Czasami strony usunięte mogą mieć stan „404” lub „Nie znaleziono”, ale w rzeczywistości zwracają kod stanu 200 w nagłówku strony. Dlatego dobrze jest użyć odpowiedniego narzędzia do sprawdzania nagłówków, aby dokładnie je sprawdzić.

Jeśli niechciane treści zostały usunięte ze strony, ale strona nie została zablokowana w sposób opisany powyżej, nie będziesz w stanie całkowicie usunąć danego adresu URL z wyników wyszukiwania. Najczęściej dzieje się tak, gdy witryna, w której dostępne są te treści, nie należy do Ciebie. O tym, co należy zrobić w takiej sytuacji, dowiesz się z kolejnego posta w części 2 naszej serii dotyczącej usuwania treści.

Jeśli URL spełnia jedno z powyższych kryteriów, możesz go usunąć. W tym celu otwórz Narzędzie do usuwania, wpisz URL, który chcesz usunąć, i wybierz opcję „Webmaster już zablokował tę stronę”. Pamiętaj, że musisz wpisać adres URL, pod którym treść była hostowana, a nie adres URL wyszukiwarki Google, w której się wyświetliła. Na przykład wpisz https://www.example.com/embarrassing-stuff.html, a nie https://www.google.com/search?q=embarrassing+stuff.

W naszym artykule w Centrum pomocy znajdziesz więcej informacji o tym, jak upewnić się, że wpisujesz prawidłowy adres URL. Pamiętaj, że jeśli nie podasz nam adresu URL, który Cię niepokoi, nie będziemy mogli usunąć treści, o których mowa.

Usuwanie całego katalogu lub witryny

Aby usunąć treści z katalogu lub całej witryny, musisz zablokować katalog lub witrynę w pliku robots.txt witryny. Aby na przykład usunąć katalog https://www.example.com/secret/, plik robots.txt musi zawierać: 

User-agent: *
Disallow: /secret/

Nie wystarczy, aby katalog główny zwrócił kod stanu 404, ponieważ katalog może zwracać kod 404, ale nadal wyświetlać pliki, które są poniżej. Użycie pliku robots.txt do zablokowania katalogu (lub całej witryny) powoduje też, że zostaną zablokowane wszystkie adresy URL w tym katalogu (lub witrynie). Aby sprawdzić, czy katalog został poprawnie zablokowany, użyj narzędzia Pobierz jako Googlebot lub Test pliku robots.txt. w Narzędziach dla webmasterów.

Tylko zweryfikowani właściciele witryny mogą poprosić o usunięcie całej witryny lub katalogu w Narzędziach dla webmasterów. Aby poprosić o usunięcie katalogu lub witryny, kliknij daną witrynę i wybierz Konfiguracja witryny > Dostęp dla robota > Usuń URL. Jeśli jako główny adres URL chcesz podać katalog główny witryny, pojawi się prośba o potwierdzenie, że chcesz usunąć całą witrynę. Jeśli wpiszesz podkatalog, wybierz opcję „Usuń katalog” z menu.

Ponowne uwzględnianie treści

W każdej chwili możesz anulować prośbę o usunięcie dowolnej ze swoich witryn, także tych przesłanych przez inne osoby. Aby to zrobić, musisz być zweryfikowanym właścicielem tej witryny w Narzędziach dla webmasterów. Gdy potwierdzisz własność, możesz przejść do strony: Konfiguracja witryny > Dostęp dla robota > Usuń URL > Usunięte adresy URL (lub > Utworzone przez innych) i kliknij „Anuluj” obok próśb, które chcesz anulować.

Nadal masz pytania? W kolejnych filmach z tej serii dowiesz się, jak usunąć treści z wyników wyszukiwania Google. Jeśli nie możesz czekać, na naszym Forum pomocy znajdziesz wiele informacji na temat usuwania adresów URL i rozwiązywania poszczególnych problemów. Jeśli po przeczytaniu opinii innych użytkowników nadal masz jakieś pytania, możesz zapytać. W większości przypadków trudno jest udzielić odpowiedniej porady dotyczącej konkretnego usunięcia, nie znając witryny lub adresu URL, o którym mowa. Zalecamy udostępnienie adresu URL za pomocą usługi skracania adresów URL, aby nie mógł on zostać zindeksowany w ramach Twojego posta. Usługi skracające mogą nawet wyłączyć skrót, gdy problem zostanie rozwiązany.

Warto też przeczytać artykuł o zarządzaniu informacjami o sobie dostępnymi w internecie.

Autorka: Susan Moskwa, Webmaster Trends Analyst