測試 robots.txt 檔案變得更簡單了

2014年7月17日星期四

原文： Testing robots.txt files made easier

作者： Asaph Arnon, Webmaster Tools team

要不要檢索，這可得問 robots.txt。

然而，要建立正確的 robots.txt 檔案並做好維護工作，有時並非易事。雖然大部分網站的 robots.txt 檔案都很好處理 (有的網站甚至根本不需要 robots.txt 檔案)，但若要在大型 robots.txt 檔案中找到目前或以前的個別網址封鎖指令，實在有點棘手。為了減輕您的負擔，我們在網站管理員工具中新推出了一款 robots.txt 測試工具 。

您可以在 網站管理員工具 的 [檢索] 部分找到這款最新測試工具：

您可以在這個工具中查看現有的 robots.txt 檔案，並測試新網址是否能順利接受檢索。為了方便您在無數複雜的指令中鎖定正確目標，決定檢索與否的指令會醒目顯示在畫面上。修正檔案後，您可以再次測試看看有無問題。等您將修改好的檔案上傳到伺服器後，變更才會生效。我們的開發人員網站內有 更多 robots.txt 指令和檔案處理做法的相關資訊 。

此外，您也可以查看原來的 robots.txt 檔案，瞭解何時 Google 會因為存取問題而無法檢索您的網頁。舉例來說，如果 Googlebot 在讀取 robots.txt 檔案時出現 500 伺服器錯誤，我們通常就會暫停檢索網站。

由於您的網站可能因此出現一些錯誤或警告，建議您再次檢查網站的 robots.txt 檔案。您也可以搭配網站管理員工具的其他功能，例如使用最新的 Google 模擬器工具 來轉譯網站上的重要網頁。假使工具回報有網址遭到封鎖，您可以立即用 robots.txt 測試工具找出封鎖網址的指令，然後對症下藥。以前的 robots.txt 檔案常有封鎖 CSS、JavaScrpt 或行動版內容的問題，現在只要在測試工具中找出有問題的指令，這些問題修正起來都是小事一樁。

我們希望這款最新工具能幫助您輕鬆測試及維護 robots.txt 檔案。如有任何問題，或是需要建立一套完善指令的相關說明，歡迎隨時前往 網站管理員說明論壇 提問！