本文實例講述了帝國cms中robots.txt文件用法。分享給大家供大家參考。具體分析如下:
在說帝國cms中robots.txt文件使用前先給大家解釋下robots.tx是干什么的.
robots協(xié)議(也稱為爬蟲協(xié)議、爬蟲規(guī)則、機器人協(xié)議等)也就是robots.txt,網(wǎng)站通過robots協(xié)議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。Robots協(xié)議是網(wǎng)站國際互聯(lián)網(wǎng)界通行的道德規(guī)范,其目的是保護網(wǎng)站數(shù)據(jù)和敏感信息、確保用戶個人信息和隱私不被侵犯。因其不是命令,故需要搜索引擎自覺遵守。一些病毒如malware(馬威爾病毒)經(jīng)常通過忽略robots協(xié)議的方式,獲取網(wǎng)站后臺數(shù)據(jù)和個人信息。
robots.txt文件是一個文本文件,使用任何一個常見的文本編輯器,比如windows系統(tǒng)自帶的Notepad,就可以創(chuàng)建和編輯它。robots.txt是一個協(xié)議,而不是一個命令。robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。
推薦學習《帝國cms教程》
當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。百度官方建議,僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。
如果將網(wǎng)站視為酒店里的一個房間,robots.txt就是主人在房間門口懸掛的“請勿打擾”或“歡迎打掃”的提示牌。這個文件告訴來訪的搜索引擎哪些房間可以進入和參觀,哪些房間因為存放貴重物品,或可能涉及住戶及訪客的隱私而不對搜索引擎開放。但robots.txt不是命令,也不是防火墻,如同守門人無法阻止竊賊等惡意闖入者。
帝國cms默認robots.txt為:
代碼如下:
# #?robots.txt?for?EmpireCMS # User-agent:?*?*允許所有搜索引擎抓取 Disallow:?/d/?*禁止所有搜索引擎抓取D目錄 Disallow:?/e/class/?*禁止所有搜索引擎抓取/e/class/?目錄 Disallow:?/e/data/?*禁止所有搜索引擎抓取/e/data/?目錄 Disallow:?/e/enews/?*禁止所有搜索引擎抓取/e/enews/?目錄 Disallow:?/e/update/?*禁止所有搜索引擎抓取/e/update/?目錄
希望本文所述對大家的帝國CMS建站有所幫助。