蜘蛛陷阱是什麼

蜘蛛陷阱是指：阻止蜘蛛程式爬行網站的障礙物，如車站內搜尋、電商產品、flash網站、限制性內容等。蜘蛛陷阱的最大特點是：當蜘蛛抓取某個特定URL時，它便進入了無限循環，只有入口，沒有出口。

在SEO工作中，SEO人員每天都在與內容和連結打交道，從目前來看，他們深知獨立的原創內容，對於未來站點長期發展的重要性，但這一切的開始，都有一個前提，就是避免產生「蜘蛛陷阱」。那什麼是蜘蛛陷阱呢？

「蜘蛛陷阱」是什麼？

「蜘蛛陷阱」是阻止蜘蛛程式爬行網站的障礙物，一些網站設計技術對搜尋引擎說很不友好，不利於蜘蛛爬行和抓取，這些技術被稱為蜘蛛陷阱。最大的特色是當蜘蛛抓取某個特定URL的時候，它便進入了無限循環，只有入口，沒有出口。

常見的「蜘蛛陷阱」有哪些：  

#1、站內搜尋  

這是一個常見且容易造成「蜘蛛陷阱」的地方，當你試圖在站內搜尋某些特定關鍵字的時候，如果類似search.php?q=這樣的URL位址被搜尋引擎抓取與收錄，那麼很可能產生大量無意義的搜尋結果頁面。  

解決：你可以透過Robots.txt這個文件，封鎖動態參數。

2、電商產品  

如果你以往有過操作電商網站的經歷，那麼你會遇到產品SKU的多樣性的問題，同一個主題內容，會根據SKU的不同，產生多個URL，造成大量的內容重複頁面，這也導致嚴重浪費蜘蛛抓取頻率。  

當然，還有一種特殊的「蜘蛛陷阱」與電商產品頁面類似，就是動態的內容插入，這也往往導致蜘蛛陷入溫柔的陷阱。  

解決：確保URL的規範性，你可以試著利用rel=canonical這個標籤來解決類似問題。

3、Flash網站  

為了滿足使用者的視覺體驗，建站公司通常會使用Flash網站，給使用者搭建企業官網，這樣看起來非常美觀，但由於目前搜尋引擎並不能很好的抓取與識別flash內容，往往導致網站排名很難提升。  

解決：不要做整站flash，盡量將flash嵌入網頁內容的一部分。

4、限制性內容  

對於某些站點，出去吸引粉絲的目的，很多內容只有登錄才能查看，特別是一些強制cookie的操作，這誘導與欺騙了蜘蛛，它很難辨識內容，而且不斷的嘗試抓取這個URL。  

解決：針對網站建設，盡量避免採用此策略，吸引使用者。

如何辨識「蜘蛛陷阱」  

對於辨識蜘蛛陷阱的方法，特別容易，你只需要透過以下內容：  

① 網站日誌：利用工具讀取當日蜘蛛抓取URL的內容，如果發現特殊的URL位址，那麼值得進一步關注。  

② 抓取頻率：查看百度搜尋資源平台中抓取頻率，如果某一天數值特別大，那麼很可能陷入蜘蛛陷阱。  

總結：常被討論的蜘蛛陷阱還有網站架構、sessionid、各類跳轉，本文只簡單講述了實際應用中常遇到的蜘蛛陷阱，僅供參考。

以上是蜘蛛陷阱是什麼的詳細內容。更多資訊請關注PHP中文網其他相關文章！