稍微接觸過SEO的站長朋友都應該知道 robots協議(也稱為爬蟲協議、爬蟲規則、機器人協議等),也就是通常添加到網站根目錄的robots.txt 文件,它的作用在于告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取,從而優化網站的收錄結果和權重。
如果你的網站根目錄還沒有 robots.txt,你可以創建一個,具體的寫法請參考?百度百科。下面是一個基本的 WordPress? robots協議:
User-agent:?* Disallow:?/feed/ Disallow:?/trackback/ Disallow:?/wp-admin/ Disallow:?/wp-content/ Disallow:?/wp-includes/ Disallow:?/xmlrpc.php Disallow:?/wp- Allow:?/wp-content/uploads/ Sitemap:?http://example.com/sitemap.xml
下面主要介紹一下 WordPress 自動創建虛擬 robots.txt 功能。如果你的網站根目錄不存在真實的 robots.txt,那么可以讓 WordPress 自動創建一個虛擬的 robots.txt (該文件不會真實存在,但是訪問 http://域名/robots.txt 時可以正常顯示)
將下面的代碼添加到主題的 functions.php 即可:
/** ?*?為你的?WordPress?站點添加?robots.txt ?*?https://www.wpdaxue.com/add-robots-txt.html ?*/add_filter(?'robots_txt',?'robots_mod',?10,?2?);function?robots_mod(?$output,?$public?)?{ $output?.=?"Disallow:?/user/";?//?禁止收錄鏈接中包含?/user/?的頁面 return?$output;}
注:如果你想添加更多的規則,請復制上面代碼的第 7 行,然后修改一下即可。
訪問 http://域名/robots.txt? 我們可以看到如下內容:
User-agent:?* Disallow:?/wp-admin/ Disallow:?/wp-includes/ Disallow:?/user/
也就是說,WordPress 默認已經添加了前 3 行規則了。
robots.txt 涉及到網站的收錄,所以請確保你明白它的書寫方法,保證每條規則都是正確無誤的!
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
THE END
喜歡就支持一下吧
相關推薦