檢查網域的 robots.txt 規則與宣告的 sitemap。
這個工具會把你輸入的網址送到我們的伺服器,由伺服器代為抓取該公開網頁的內容;不會送出其他資料。
robots.txt 中宣告的 Sitemap
透過我們的伺服器抓取你輸入網域的 /robots.txt,顯示其中的 User-agent 規則與宣告的 Sitemap 網址——點擊即可在 Sitemap Checker 中開啟。這個工具只解析檔案內容,不會檢查你自己的爬蟲或頁面是否真的遵守這些規則。
檢查頁面的 title、description、canonical 等 meta 標籤。
檢查 sitemap.xml 檔案並統計其中的網址數量。
針對一個公開網址跑一次上線前檢查清單。