蜘蛛陷阱是什么

蜘蛛陷阱是指：阻止蜘蛛程序爬行網站的障礙物，如站內搜索、電商產品、flash網站、限制性內容等。蜘蛛陷阱的最大特點是：當蜘蛛抓取某個特定URL時，它便進入了無限循環，只有入口，沒有出口。

在SEO工作中，SEO人員每天都在與內容和鏈接打交道，從目前來看，他們深知獨立的原創內容，對于未來站點長期發展的重要性，但這一切的開始，都有一個前提，那就是避免產生“蜘蛛陷阱”。那么什么是蜘蛛陷阱？

“蜘蛛陷阱”是什么？

“蜘蛛陷阱”是阻止蜘蛛程序爬行網站的障礙物，一些網站設計技術對搜索引擎說很不友好，不利于蜘蛛爬行和抓取，這些技術被稱為蜘蛛陷阱。 最大的特點是當蜘蛛抓取某個特定URL的時候，它便進入了無限循環，只有入口，沒有出口。??

常見的“蜘蛛陷阱”有哪些：??

1、站內搜索??

這是一個常見且容易造成“蜘蛛陷阱”的地方，當你試圖在站內搜索某些特定關鍵詞的時候，如果類似search.php?q=這樣的URL地址被搜索引擎抓取與收錄，那么很可能產生大量無意義的搜索結果頁面。??

解決：你可以通過Robots.txt這個文件，屏蔽動態參數。??

2、電商產品??

如果你以往有過操作電商網站的經歷，那么你會遇到產品SKU的多樣性的問題，同一個主題內容，會根據SKU的不同，產生多個URL，造成大量的內容重復頁面，這也導致嚴重浪費蜘蛛抓取頻率。??

當然，還有一種特殊的“蜘蛛陷阱”與電商產品頁面類似，就是動態的內容插入，這也往往導致蜘蛛陷入溫柔的陷阱。??

解決：確保URL的規范性，你可以試圖利用rel=canonical這個標簽來解決類似問題。??

3、Flash網站??

為了滿足用戶的視覺體驗，建站公司通常會使用Flash網站，給用戶搭建企業官網，這樣看起來非常美觀，但由于目前搜索引擎并不能很好的抓取與識別flash內容，往往導致站點排名很難提升。??

解決：不要做整站flash，盡量將flash嵌入網頁內容的一部分。??

4、限制性內容??

對于一些站點，出去吸引粉絲的目的，很多內容只有登錄才能查看，特別是一些強制Cookie的操作，這誘導與欺騙了蜘蛛，它很難識別內容，并且不斷的嘗試抓取這個URL。??

解決：針對網站建設，盡量避免采用這種策略，去吸引用戶。??

如何識別“蜘蛛陷阱”??

對于識別蜘蛛陷阱的方法，特別容易，你只需要通過如下內容：??

① 網站日志：利用工具讀取當日蜘蛛抓取URL的內容，如果發現特殊的URL地址，那么值得進一步關注。??

② 抓取頻率：查看百度搜索資源平臺中抓取頻率，如果某一天數值特別大，那么很可能陷入蜘蛛陷阱。??

總結：常被討論的蜘蛛陷阱還有網站框架、sessionid、各類跳轉，本文只簡單講述了實際應用中常遇到的蜘蛛陷阱，僅供參考。