robots.txt的寫法

robots.txt的寫法是做SEO的人員必須知道的（什么是robots.txt），但該如何寫，禁止哪些、允許哪些，這就要我們自己設(shè)定了。?

百度蜘蛛是一機器，它只認(rèn)識數(shù)字、字母和漢字，而其中robots.txt就是最重要也是最開始和百度“對話”的內(nèi)容。?

當(dāng)我們的網(wǎng)站在沒有建好的時候，我們不希望百度來抓取我們的網(wǎng)站，往往有人會禁止百度來抓取。但是，這種做法是非常不好的，這樣會讓百度蜘蛛很難再來到你的網(wǎng)站了。所以，我們必須現(xiàn)在本地搭建網(wǎng)站，等一切都搞好以后，再去買域名、空間，要不，一個網(wǎng)站的反復(fù)修改，會對你的網(wǎng)站有一定的不利影響。?

我們的網(wǎng)站起初的robots.txt寫法如下：?

User-agent: *?

Disallow: /wp-admin/?

Disallow: /wp-includes/?

User-agent: * 的意思是，允許所以引擎抓取。?

而Disallow: /wp-admin/和Disallow: /wp-includes/，則是禁止百度抓取我們的隱私，包括用戶密碼、數(shù)據(jù)庫等。這樣的寫法既保護(hù)了我們的隱私，也讓百度蜘蛛的抓取最大化。?

如果，你想禁止百度蜘蛛抓取某一個頁面，比如123.html，那就加一句代碼“Disallow: /123.html/”即可。?

robots.txt寫好后，只需要上傳到網(wǎng)站的根目錄下即可。