SEO教程：當你面對大型網站可能遇到的數千個潛在問題時，你從哪里開始？這是我們在重建Web爬行時試圖解決的問題。答案幾乎完全取決于你的網站，可能需要深入了解它的歷史和目標，但我想概述一個SEO過程，可以幫助你減少噪音并開始使用它。簡單的操作有時是危險的。為什么？在此之前，我們嘗試將網站開頭的每個問題標記為高、中、低優先級。這個簡單的方法可能有用，但我們發現不可能做到這一點，您可能想知道我們為什么要放棄它。

首先，網站優化元素的優先級取決于你的意圖。如果搜索引擎正在搜索網站，誤解你的意圖可能會導致糟糕的結果，從混亂到災難性的結果。例如，我們在moz上雇傭了一個全新的seoer，發現了以下問題：站點上同時有將近35000個noindex標簽？如果我們使用搜索引擎優化工具快速刪除這些標簽，那么網站本身就會受到很大的傷害，而不是意識到大多數這些指令都是故意的。我們可以使我們的系統更智能，但他們不理解，所以我們需要對錯誤警報保持謹慎。

其次，優先級問題并不能幫助您了解這些問題的性質或如何解決它們。我們現在將Web爬行分為四種描述類型：歷史數據問題重定向問題元數據問題內容問題按類型分類可以使您獲得更多的SEO技術。

最終幫助你發現問題只是第一步。我們希望能更好地幫助你解決這個問題。從爬行動物的嚴重問題開始，這并不意味著一切都是主觀的。有些問題會阻止爬蟲（不僅僅是我們的，還有搜索引擎）到達您的頁面。我們將這些“關鍵爬蟲問題”分為第一類，目前包括5xx個錯誤、4xx個錯誤和重定向到4xx。如果您突然出現5xx錯誤，您需要知道很少有人故意將其重定向到404。在整個網絡爬蟲界面中，您將看到一個突出顯示的嚴重爬蟲問題：找到紅色警報圖標以快速找到關鍵問題。

首先，解決這些問題。如果你不能抓取頁面，那么其他所有的抓取程序的問題都無法解決，這對SEO來說是非常糟糕的。2。在解決你的技術SEO問題中，平衡問題的流行度，我們也必須平衡問題的嚴重性和數量。如果不了解您的網站，我會說404錯誤可能值得在復制內容之前解決-但是如果您有11個404和17843重復頁呢？你的優先事項突然變得很不一樣了。我們已經為您做了一些SEO數據分析，以通過問題的普遍性提高緊迫性。這需要一些關于優先權的假設，但是如果您的時間有限，我們希望為您提供解決幾個關鍵問題的至少一個快速起點。

解決多頁問題的另一個優勢是解決大容量問題。在許多情況下，您可以一次修復數百（甚至數千）頁。這是一個更戰術的方法來節省你很多時間和金錢。

因此，我們可以通過URL過濾來解決網絡爬行的問題：我可以很快看到這些頁面占392頁，我缺乏描述，高達43%。如果我擔心這個問題，也許我可以通過一個相當簡單的CMS頁面來解決它，用幾行代碼消除數百個問題。在不久的將來，我們希望為您做一些分析，但是如果過濾不能做到這一點，您也可以將任何問題列表導出到csv。然后，旋轉并過濾你心臟的內容。

通過PA和爬行深度進入頁面。如果你找不到清晰的模式，或者你已經解決了一些主要問題，下一步是什么？如果您知道這些URL很重要，那么一次解決數千個問題是值得的。幸運的是，您現在可以按照頁面權限（PA）和Web爬行中的爬行深度進行排序。PA是我們排名能力的內部指標（主要由鏈接權重決定），爬行深度是頁面和主頁之間的距離：在這里，我可以看到我們的Mozbar網站中的重定向鏈，這是一個非常高的特權頁面。這可能是一個值得解決的問題，即使它不是一個明顯的、更大的組織的一部分。