
專注用戶體驗設計與開發(fā)
-
商務合作
- 郵箱:123456789@qq.com
- 手機:15323711532
- 座機:0755-84185494
- 地址:廣東省深圳市龍崗區(qū)布吉中興路21號基業(yè)大廈
Copyright ? 2015 深圳市鑫惠廣網(wǎng)絡科技有限公司 粵ICP備2023111395號
我們在進行網(wǎng)站seo優(yōu)化過程中進行seo診斷時,有時候會發(fā)現(xiàn)這樣一個問題,有些網(wǎng)站優(yōu)質(zhì)內(nèi)容,用戶可以正常的訪問,但是搜索引擎蜘蛛?yún)s無法訪問,并無法進行抓取。如果網(wǎng)站中存在著很多這種情況,就有可能被搜索引擎判斷為網(wǎng)站在用戶體驗方面存在著缺陷,從而會對網(wǎng)站進行降權處理,不利于網(wǎng)站優(yōu)化的進行以及網(wǎng)站流量的提高。那么,搜索引擎蜘蛛不能爬取網(wǎng)頁的原因有哪些?下面就為大家總結一些搜索引擎蜘蛛爬取異常的原因,以供大家參考。
1、存在死鏈
所謂的死鏈指的是已經(jīng)失效,無法提供有價值的內(nèi)容給用戶的頁面,分為協(xié)議死鏈和內(nèi)容死鏈兩種類型。通常我們在設置死鏈的時候最好選擇協(xié)議死鏈,并且提交給搜索引擎,這樣有利于搜索引擎在短時間內(nèi)就能發(fā)現(xiàn)死鏈,從而使死鏈帶來的不好的影響大大降低。
2、跳轉(zhuǎn)異常
網(wǎng)頁跳轉(zhuǎn)存在異常,通常包括兩種情況,一種是無效頁面直接跳轉(zhuǎn)到上級目錄或者首頁,最好的處理方式是刪除無效頁面鏈接;另一種是跳轉(zhuǎn)到無效頁面或者錯誤頁面。
3、DNS異常
如果搜索引擎蜘蛛無法對我們的網(wǎng)站IP進行解析的時候,就會出現(xiàn)DNS異常現(xiàn)象。導致出現(xiàn)這種情況的原因可能是網(wǎng)站IP地址錯誤搜索引擎蜘蛛被域名服務商封禁,這時候我們需要做的是先使用whois查看網(wǎng)站ip是否正確,是否能解析;如果都不行,那么就需要聯(lián)系域名服務商,對網(wǎng)站IP地址進行更新。
4、服務器連接異常
服務器連接異常分為兩種情況,一種是搜索引擎蜘蛛暫時無法連接到網(wǎng)站服務器,另一種則是一直連接不上網(wǎng)站服務器。網(wǎng)站服務器超負荷運轉(zhuǎn)或者網(wǎng)站運行異常等會會導致出現(xiàn)服務器連接異常的情況。
5、用戶代理封禁
服務器是通過用戶代理對訪問者進行識別的,只有網(wǎng)站不想被搜索引擎抓取時才會設置用戶代理封禁。所以,我們可以查看用戶代理是否設置正常,如果不正常,及時進行修改。
專注用戶體驗設計與開發(fā)
Copyright ? 2015 深圳市鑫惠廣網(wǎng)絡科技有限公司 粵ICP備2023111395號