seo優化技巧之站內robots文件優化

潮人地東莞seo博客小編下面跟大家seo網站優化理由分享關于seo優化技巧之站內robots文件優化等問題，希望seo專員在做seo優化的過程中有所幫助，內容僅供參考。

網站除了301重定向用來集中網站權重外，還有robots文件也是用來集中網站權重，通過站內robots文件優化，可以限制蜘蛛抓取，將一些對網站沒什么用的文件進行屏蔽，讓蜘蛛更方便的抓取網站內容，有利于我們提升網站排名。

seo優化技巧

1、什么叫robots文件

Robots文件是網站跟搜索引擎爬蟲程序(百度蜘蛛、谷歌機器人)一個溝通協議，通過這個協議可以告訴爬蟲程序，網站哪些內容是允許抓取的，哪些內容不允許抓取的。

seo博客相關推薦閱讀：seo優化推廣：seo用的怎樣技術(seo用的怎樣技術方法)

robots文件全名叫robots.txt,這個文件名要小寫，這個文件必須放在網站的根目錄，文件名不能自己隨便命名。

注意：并不是所有的網站都有這個文件，但是我們在優化網站的時候需要給網站做一個robots文件。織夢有自帶的robots文件，對于優化的需求是不能滿足，所以就需要自己重新來優化這個文件。

seo優化技巧

2、robots文件的書寫格式

User-agent: *

User-agent: 蜘蛛名稱

* 是一個通配符，代表的是所有蜘蛛的名稱。

Disallow：后面跟的禁止抓取的網址路徑

User-agent: *

Disallow: /plus/ad_js.php

如果想限制某個搜索引擎爬蟲程序抓取，那么就需要把*換成具體的爬蟲程序名稱就可以。

蜘蛛名稱：

•谷歌：googlebot

•百度：baiduspider

•MSN：MSNbot

•雅虎：Slurp

•有道：YoudaoBot

•搜搜：Sosospider

•搜狗：sogou spider

•360：360Spider (haosouSpider)

例如禁止百度蜘蛛抓取ad_js.php：

User-agent: baiduspider

Disallow: /plus/ad_js.php

禁止谷歌蜘蛛抓取ad_js.php：

User-agent: googlebot

Disallow: /plus/ad_js.php

Allow:允許抓取的文件目錄路徑

User-agent: baiduspider

Disallow: /plus/ad_js.php

Allow: /member/2.php

(Allow代表允許)

你在robots文件里面即使不寫允許記錄，只要沒禁止，那么也是可以被抓取的。

3、關于robots文件一些特殊的寫法

Disallow: /a/*.htm

禁止抓取a目錄里面所有以.htm結尾的文件。

Disallow: /a/2.html

禁止抓取a目錄里面所有以2.html文件。