查找引擎抓取頁面內容是經過網絡蜘蛛，蜘蛛經過頁面中的文本連接遍歷網站web頁面，web 過超級文本懇求html文檔并拜訪web站點頁面，使用html言語符號、標簽規劃來查找信息，獲取其他指向其他頁面的超文本url途徑。
    html標簽一般分為以下幾類：文本、注釋、標簽。頁面中除掉標簽，一切數據都能夠當作文本，由標簽所圍住和操控。html標簽反映了頁面的層次信息，包含了內容規劃（經過標簽剖析文檔的規劃）、顯現作用（字體、色彩、階段區分）和語義信息（文本、多媒體、連接），因而咱們要確保數據在文本之內和而腳本代碼大概盡能夠與網站標簽別離，便利查找引擎蜘蛛對腳本代碼和數據文本辨認并做好有關語義化規劃剖析。
    經過對頁面的html言語規劃處置，查找引擎會構建頁面規劃Dom樹（供給的拜訪XML文檔信息的前言是一種分層目標模型，在對XML文檔進行剖析之后，不論文檔簡略、雜亂，都把其間的信息都會被轉化成一棵目標節點樹），頁面嵌套層次越深，標簽和內容越來越多，當瀏覽器無法批改標簽時，就會“將某個過錯塊內的一切標簽悉數去掉，僅保存內容”。解析Dom時不會更改頁面html代碼文件，僅僅對頁面進行解析，這也是為何頁面html過錯需要去驗證，而瀏覽器選用的主動修正和兼容性方法，因而不驗證發現不了過錯，并且在解析過程中會對剩余的標簽和特點進行鏟除，無法批改和鏟除的將會主動除掉，這即是瀏覽器的“收拾形式”。一般來說其次這種樹形規劃也是根據標簽的根底（標簽與標簽區分一個區域，標簽之間并排或許彼此嵌套形成了頁面文件的樹形規劃），查找引擎蜘蛛經過經過對頁面不相同的標簽對頁面進行分塊。
    頁面的Dom樹與頁面的分塊緊密聯系，其間html標簽、視覺信息對頁面進行分塊的主要依據，相應從連接剖析和內容文本中抓取和辨認主題，頁面的不相同主題和內容之間的分塊也能夠經過標簽和連接來進行信息構建，這即是web規區分塊算法，查找引擎在解析是更著重“內容塊”的概念，即一個標簽一個塊。查找引擎解析構建dom樹時，當解析發作過錯（標簽不匹配）就會啟用收拾形式，但修正過錯能夠僅僅關于塊為單位，即查找過錯塊節點的上一級節點（上一級過錯，持續查找上一級），若是上一級沒有過錯，那么塊內一切子塊與兒孫塊的標簽悉數除掉。所以網站規劃契合web規劃規劃標準代碼標準，這樣查找引擎蜘蛛才干非常好的對網站主題進行辨認，經過對主題的辨認和分類，然后提升了咱們網站關鍵詞排行。
    從查找引擎的視點來講，在剖析內容之前條件也會像瀏覽器相同要先構建一棵完好的dom樹，只有當這棵樹構建完結，查找引擎才干斷定頁面中上下文的聯系，才不會致使頁面板塊權重發作偏移，當頁面節點層次較多時，要注意標簽的層次過錯，越挨近頂層的節點越要注意，特別是完畢標簽，關于搜索引擎優化的影響是喪命的，其次頁面節點越少越好，一方面減少了查找引擎解析節點擔負，其次有利于查找引擎更簡單斷定節點上下文聯系和對關鍵詞進行加權處置。
    其次web規劃頁面規劃需求規劃（html）和體現(css)別離，當標簽的特點能用css代替時，則盡能夠移到css中去，這樣不只縮減了頁面文件大小，提高了蜘蛛索引和抓取網站頁面的功率，并且關于頁面主題的辨認，以及頁面內容的分塊，和網站權重規劃優化等方面都有重要意義。