[seo術語]是什么原因導致搜索引擎蜘蛛無法順利爬行
[seo術語]導致搜索引擎蜘蛛無法順利爬行的原因
我經常在SEO診斷過程中遇到這樣的問題。有一些網頁具有高質量的內容,用戶可以正常訪問它們,但搜索引擎蜘蛛無法訪問和抓取,導致搜索結果覆蓋率下降。對于百度搜索引擎對網站是一種損失。百度將此情況稱為“爬網異?!?。對于無法通過大量內容進行爬網的網站,百度搜索引擎會認為該網站存在用戶體驗缺陷并減少對網站的評估,即抓取,索引和排序。這將對網站產生一定程度的負面影響,最終將影響網站從百度獲得的流量。下面,作者總結了搜索引擎蜘蛛無法順利抓取的一些常見原因,供大家參考。
服務器鏈接異常
有兩種服務器鏈接異常:一種是網站不穩定,baiduspider在暫時無法鏈接時嘗試鏈接到您網站的服務器:另一種是baiduspider無法鏈接到服務器你的網頁。
服務器鏈接異常的原因通常是因為您的Web服務器太大而且過載。您的網站也可能無法正常運行。請檢查網站的Web服務器是否安裝正常,并使用瀏覽器檢查主頁是否可以正常訪問。您的網站和主機也可能會阻止空間或購買CDN服務。
DNS例外
當baiduspider無法解析您網站的IP時,將發生DNS異常??赡苁悄木W站IP地址有誤,或者域名服務提供商已禁止baiduspider。請使用WHOIS或主持人檢查您網站的IP地址是否正確且可解析。如果不正確或無法解決,請與您的域名注冊商聯系以更新您的IP地址。
知識產權禁令
IP禁令是:限制網絡的出口IP地址,并禁止IP段的用戶訪問內容。在這里,baiduspiderIP被特別禁止。僅當您的網站不希望baiduspider訪問時才需要此設置。如果你想要baiduspiderIP。您的網站所在的空間服務提供商也可能禁止使用百度 IP,在這種情況下,您需要聯系服務提供商以更改設置。
UA禁令
UA是用戶代理,服務器通過UA識別訪客的身份。當網站訪問指定的UA時,會出現異常頁面(例如404,500)或跳轉到其他頁面,即UA被禁止。僅當您的網站不希望baiduspider訪問時才需要此設置;如果您想讓baiduspider訪問您的網站,請檢查usragent相關設置中的baiduspiderUA是否及時修改。
死鏈
該頁面不再有效。無法向用戶提供任何有價值信息的頁面為死鏈,包括協議死鏈和內容死鏈。協議死鏈,即頁面的TCP協議狀態,死鏈由HTTP協議狀態明確指示,常見狀態如404,403,502等;內容死鏈,即服務器的返回狀態正常,但內容已更改為不存在,刪除或與原始內容無關的信息頁面的死鏈,如權限。
對于死鏈,我們建議站點使用協議死鏈并通過百度網站管理平臺----死鏈工具將其提交到百度,以便百度更快地找到死鏈,從而減少死鏈對用戶和搜索引擎的負面影響。
異常跳躍
當網絡請求被重定向到另一個位置時,它是一個跳轉。異常跳躍是指以下情況。
1.當前頁面是無效頁面(內容已被刪除,死鏈等),并直接跳轉到上一個目錄或主頁。百度建議網站管理員刪除無效頁面的條目超鏈接。
2.跳轉到錯誤或無效頁面。 (注意:對于長期跳轉到其他域名,例如網站替換域名,建議使用百度來設置201跳轉協議。)
其他異常
1.對于百度,請參閱exception:該頁面返回與正常內容不同的行為,以引用百度。 2.百度 UA的異常:網頁百度 UA返回與頁面原始內容不同的行為。 3. JS跳轉異常:網頁加載百度無法識別的JS跳轉代碼,以便用戶在通過搜索結果進入頁面后跳轉。 4.壓力過大造成的意外禁令:百度會根據網站的大小,訪問量等信息自動設置合理的抓壓量。然而,在異常情況下,例如當壓力控制異常時,服務器將根據其自身負載執行保護性意外禁止。在這種情況下,請返回502(表示“serviceunavailable”,因此baiduspider稍后會嘗試抓取此鏈接。如果該站點處于空閑狀態,則會成功抓取該站點。