多爬蟲分組
支援通配爬蟲、Googlebot、Bingbot、GPTBot 與自定義 User-agent。
robots.txt 產生器
robots.txt 產生器
設定爬蟲群組、路徑規則和 Sitemap 宣告。
robots.txt 內容
User-agent: *
- 尚未宣告 Sitemap 網址。
搜尋引擎抓取控制
什麼是 robots.txt？
robots.txt 位於網站根目錄，用於告訴遵守 Robots Exclusion Protocol 的爬蟲哪些路徑可以或不應抓取。規則按 User-agent 分組，並可宣告 Sitemap 地址。
robots.txt 不是訪問控制，也不能可靠阻止頁面進入索引。敏感內容必須通過身份驗證保護；需要移除搜尋結果時，應結合 noindex、刪除狀態或搜尋平臺工具。
可配置規則
Allow / Disallow
按組維護允許和禁止路徑，識別無效格式與全站遮蔽。
Sitemap 宣告
新增一個或多個絕對 Sitemap URL，並自動去重。
為什麼要謹慎產生 robots.txt？
一條過寬的 Disallow 可能阻斷整個網站、CSS/JS 或重要頁面抓取，而無效語法可能被爬蟲直接忽略。
集中管理抓取範圍
為後臺、搜尋引數和低價值路徑設定明確的抓取邊界。
避免危險規則
對全站遮蔽、無效路徑、重複分組和不受支援指令給出提示。
同步 Sitemap 入口
在同一檔案中宣告正式 Sitemap，幫助爬蟲發現 URL 清單。
robots.txt 產生器如何運作？
所有輸入只在瀏覽器本地處理，不請求目標網站，也不儲存配置。
- 01
建立爬蟲分組
選擇常見 User-agent 或填寫實際爬蟲名稱。
- 02
填寫路徑規則
分別新增 Allow 與 Disallow，按最長匹配規則組織。
- 03
宣告 Sitemap
新增完整 HTTPS Sitemap 地址並去重。
- 04
檢查併發布
複製或下載檔案，釋出到域名根目錄 /robots.txt。
robots.txt 產生常見問題
Disallow 能阻止頁面被收錄嗎？
不一定。被其他頁面連結的 URL 仍可能以無摘要形式出現。需要阻止索引時，應允許抓取並返回 noindex，或移除頁面。
可以用 robots.txt 保護後臺嗎？
不能。robots.txt 是公開檔案，任何人都能看到規則；後臺必須使用登入、許可權和網路控制保護。
Google 支援 Crawl-delay 嗎？
Googlebot 不支援 robots.txt 中的 Crawl-delay。抓取速率應通過伺服器效能、Google Search Console 或響應狀態管理。
Allow 和 Disallow 衝突時怎麼辦？
主流爬蟲通常採用匹配長度更長的規則；相同長度時 Allow 常優先，但應避免依賴模糊衝突。
robots.txt 應放在哪裡？
必須放在協議與主機對應的根目錄，例如 https://example.com/robots.txt。子目錄中的同名檔案不會控制整個站點。
相關 SEO 工具
釋出後檢查實際檔案響應、規則匹配和 Sitemap 可用性。