檢查網域的 robots.txt 規則與宣告的 sitemap。
這個工具會把你輸入的網址送到我們的伺服器,由伺服器代為抓取該公開網頁的內容;不會送出其他資料。
robots.txt 中宣告的 Sitemap
透過我們的伺服器抓取你輸入網域的 /robots.txt,顯示其中的 User-agent 規則與宣告的 Sitemap 網址——點擊即可在 Sitemap Checker 中開啟。這個工具只解析檔案內容,不會檢查你自己的爬蟲或頁面是否真的遵守這些規則。
格式化、壓縮並驗證 JSON。
產生隨機 UUID。
在 Unix 時間戳記與日期之間互相轉換。