百度seo優化排名：常見的robots.txt文件用法實例

潮人地東莞seo博客小編下面跟大家分享關于百度seo優化排名：常見的robots.txt文件用法實例等問題，希望seo專員在做seo優化的過程中有所幫助，內容僅供參考。

常見的robots.txt文件用法實例：

1、禁止所有搜索引擎抓取網站的任何部分

User-agent: *
Disallow: /

seo博客相關推薦閱讀：seo優化推廣：信陽seo線上推廣技術(信陽seo外包公司)

這是禁止所有目錄和文件被所有搜索引擎收錄。網站還沒上線時，有的會先屏蔽所有蜘蛛抓取。

2、允許所有的spider抓取（或者也可以建一個空的robots.txt文件）

User-agent: *
Allow: /

這是允許所有搜索引擎抓取網站的任何部分，既然是允許所有文件被抓取，可以不用創建robtos.txt文件，即默認全部允許抓取。

3、禁止spider抓取特定目錄

User-agent: *
Disallow: /a/
Disallow: /b/
Disallow: /c/

這是禁止所有的spider抓取a、b、c目錄。這個規則我們最常用到，比如網站的程序后臺、程序目錄等都可以禁止spider抓取，以減少spider無意義的浪費我們的空間資源。

4、禁止spider抓取搜索結果頁面

User-agent: *
Disallow: /so_articl百度seo排名優化技巧分享方法e*

如果你網站的搜索結果頁面URL格式如：/so_articlekeyword=搜紹興企業網站seo優化方法索關鍵字，則按電商seo優化的方法以上格式進行屏蔽，注意最后帶了一個星號*，代表屏蔽so_article帶頭的所有URL。

?

對于大部分網站，常用的就是以上4種情況。

?

擴展閱讀：

robots.txt概念和10條注意事項

robots.txt文件用法舉例，百度官方資料截圖版

以上是潮人地東莞seo博客跟大家分享關于百度seo優化排名：常見的robots.txt文件用法實例等問題，希望能對大家有所幫助，若有不足之處，請諒解，我們大家可以一起討論關于網站seo優化排名的技巧，一起學習，以上內容僅供參考。