“蜘蛛陷阱”是阻止蜘蛛程序爬行網(wǎng)站的障礙物，雖然網(wǎng)頁(yè)界面看起來非常正常，但這些蜘蛛陷阱會(huì)對(duì)蜘蛛程序造成障礙。消除這些蜘蛛陷阱，可以使蜘蛛程序收錄更多的網(wǎng)頁(yè)。SEO優(yōu)化中，網(wǎng)頁(yè)被收錄是基礎(chǔ)工作，但對(duì)于搜索引擎來講，極少情況會(huì)100%收錄你網(wǎng)站的所有網(wǎng)頁(yè)，搜索引擎的爬蟲程序設(shè)計(jì)得再精巧，也難以逾越所謂的蜘蛛陷阱。 哪些做法不利于蜘蛛爬行和抓取呢？怎么去避免這些蜘蛛陷阱呢？
1、 登錄要求
有些企業(yè)站和個(gè)人站設(shè)置一定要用戶注冊(cè)登錄后，才能看到相關(guān)的文章內(nèi)容，這種對(duì)蜘蛛不是很友好，因?yàn)橹┲霟o法提交注冊(cè)，更無法輸入用戶名和密碼登錄查看內(nèi)容。對(duì)于蜘蛛來說，用戶直接點(diǎn)擊查看到的內(nèi)容也是蜘蛛所能看到的內(nèi)容。如果你的網(wǎng)站有這種情況，請(qǐng)取消這一功能，但網(wǎng)站如果有VIP用戶或部分資源，是可以這樣設(shè)置的。 
2、動(dòng)態(tài)URL
 動(dòng)態(tài)URL可以簡(jiǎn)單理解為在URL中加入過多的符號(hào)或者網(wǎng)址參數(shù)，雖然隨著搜索引擎的技術(shù)發(fā)展，動(dòng)態(tài)URL對(duì)于蜘蛛的抓取已經(jīng)越來越不是問題了，但是從搜索引擎友好度上講，靜態(tài)哪陷是偽靜態(tài)相對(duì)來說都比動(dòng)態(tài)URL要好。URL優(yōu)化將在本章第6節(jié)中討論。 
3、強(qiáng)制用Cookies
 強(qiáng)制用Cookies對(duì)于搜索引擎來說相當(dāng)于直接禁用了Cookies，而有些網(wǎng)站為了實(shí)現(xiàn)某些功能。會(huì)采取強(qiáng)制Cookies，例如跟蹤用戶訪問路徑，記住用戶信息，甚至是盜取用戶隱私等，如果用戶訪問這類站點(diǎn)時(shí)沒有啟用Cookies，所顯示的頁(yè)面就會(huì)不正常。所以，對(duì)于蜘蛛來講，同樣的網(wǎng)頁(yè)無法正常訪問。
4、 框架結(jié)構(gòu)
早期框架網(wǎng)頁(yè)到處被泛濫使用，而現(xiàn)在很多網(wǎng)站已經(jīng)很少使用了，一是因?yàn)楝F(xiàn)在隨著各大CMS系統(tǒng)的開發(fā)問世，網(wǎng)站維護(hù)相對(duì)越來越簡(jiǎn)單了，早期網(wǎng)站使用框架是因?yàn)閷?duì)網(wǎng)站頁(yè)面的維護(hù)有一定的便利性，現(xiàn)在已經(jīng)大可不必了，而且不利于搜索引擎收錄也是框架越來越少被使用的原因之一。
5、各種跳轉(zhuǎn)
對(duì)搜索引擎來說，只對(duì)301跳轉(zhuǎn)相對(duì)來說比較友好，對(duì)其他形式的跳轉(zhuǎn)都比較敏感。如JavaScritp跳轉(zhuǎn)、MetaRefresh跳轉(zhuǎn)、Flash跳轉(zhuǎn)、302跳轉(zhuǎn)。  
6、Flash
有的網(wǎng)站頁(yè)面使用Flash視覺效果是很正常的，例如用Flash做的Logo、廣告、圖表等，這些對(duì)搜索引擎抓取和收錄是沒有問題的，但很多網(wǎng)站的首頁(yè)是一個(gè)大的Flash文件，這種就叫蜘蛛陷阱。在蜘蛛抓取時(shí)，HTML代碼中只是一個(gè)鏈接，并沒有文字，雖然大的Flash效果看上去很好，外觀看著也很漂亮，但可惜搜素引擎看不到，無法讀取任何內(nèi)容，所以，為了能體現(xiàn)網(wǎng)站優(yōu)化的最好效果，不提倡這種Flash作為首頁(yè)圖片。 
7、采用session id的頁(yè)面
有的銷售類站點(diǎn)為了分析用戶的某些信息，會(huì)采用會(huì)話ID來跟蹤用戶。訪問站點(diǎn)時(shí)，每個(gè)用戶訪問都會(huì)增加一次：?ssion id而加人到URL中。同樣，蜘蛛的每一次訪問也會(huì)被當(dāng)作一個(gè)新用戶。每次蜘蛛訪問的URL中都會(huì)加入一個(gè)。Ession id，產(chǎn)生同一個(gè)頁(yè)面但URL不同的情況，這種情況會(huì)產(chǎn)生復(fù)制內(nèi)容頁(yè)面，造成高度重復(fù)的內(nèi)容頁(yè)，同時(shí)也是最常見的蜘蛛陷阱之一。
8、JavaScript跳轉(zhuǎn)
雖然現(xiàn)在搜索引擎對(duì)于JavaScript里的鏈接可以跟蹤，甚至嘗試拆解分析，但是我們最好不要寄望于搜索引擎自己克服困難。雖然通過JavaScript可以做一些效果不錯(cuò)的導(dǎo)航，但是CSS同樣也可以做到。為了提高網(wǎng)站對(duì)搜索引擎的友好度，使網(wǎng)頁(yè)能夠更好地蜘蛛爬行，盡量不要采用JavaScript當(dāng)然，在SEO中，JavaScript有一個(gè)好處就是站長(zhǎng)不希望被收錄的頁(yè)面或者友情鏈接可以采用JavaSc:npt。當(dāng)然，有一種方法可以消除JavaScript蜘蛛程序陷阱，即使用<noscript>標(biāo)簽。<noscript>標(biāo)簽是為不支持JavaScript的瀏覽器提供備選的代碼。蜘蛛程序不會(huì)執(zhí)行JavaScript，因此，它們通過處理<noscript>代碼來代替。在SEO中，JavaScript也有一個(gè)好處就是站長(zhǎng)不希望被收錄的頁(yè)面或者友情鏈接可以采用JavaScript。