文本文件，是搜索引擎建立SEO網頁索引處理的對象。準確提取文檔的信息，一方面對搜索引擎的搜索準確性有重要作用，另一方面對於搜索蜘蛛正確跟蹤其它鏈接有一定影響。對於搜索蜘蛛來說，抓取下來網頁包括各種格式，包括html、圖片、doc、pdf、多媒體、動態網頁設計及其它格式等。這些文件抓取下來後，需要把這些文件中的文本信息提取出來。

　　對於doc、pdf等文檔，這種由專業廠商提供的軟件生成的文檔，廠商都會提供相應的文本提取接口。搜索蜘蛛只需要調用這些插件的接口，就可以輕松的提取文檔中的文本信息和文件其它相關的信息。

　　對於多媒體、圖片等文件，一般是通過鏈接的錨文本(即，鏈接文本)和相關的文件註釋來判斷這些文件的內容。例如有一個鏈接文字為“張曼玉照片”，其鏈接指向一張bmp格式的圖片，那麽搜索蜘蛛就知道這張圖片的內容是“張曼玉的照片”。這樣，在搜索“張曼玉”和“照片”的時候都能讓搜索引擎找到這張圖片。另外，許多多媒體文件中有文件屬性，考慮這些屬性也可以更好的了解文件的內容。

　　HTML等文檔不一樣，HTML有一套自己的語法，通過不同的命令標識符來表示不同的字體、顏色、位置等版式。提取文本信息時需要把這些標識符都過濾掉。過濾標識符並非難事，因為這些標識符都有一定的規則，只要按照不同的標識符取得相應的信息即可。但在識別這些信息的時候，需要同步記錄許多版式信息，例如文字的字體大小、是否是標題、是否是加粗顯示、是否是頁面的關鍵字等，這些信息有助於計算單詞在網頁中的重要程度。同時，對於HTML網頁來說，除了標題和正文以外，會有許多廣告鏈接以及公共的頻道鏈接，這些鏈接和文本正文一點關系也沒有，在提取網頁內容的時候，也需要過濾這些無用的鏈接。例如某個網站有“產品介紹”頻道，因為導航條在網站內每個網頁都有，若不過濾導航條鏈接，在搜索“產品介紹”的時候，則SEO網站優化內每個網頁都會搜索到，無疑會帶來大量垃圾信息。過濾這些無效鏈接需要統計大量的網頁結構規律，抽取一些共性，統一過濾；對於一些重要而結果特殊的網站，還需要個別處理。這就需要搜索蜘蛛的設計有一定的擴展性。

　　動態網頁一直是搜索蜘蛛面臨的難題。所謂動態網頁，是相對於靜態網頁而言，是由程序自動生成的頁面，這樣的好處是可以快速統一更改網頁風格，也可以減少網頁所占服務器的空間，但同樣給搜索蜘蛛的抓取帶來一些麻煩。由於開發語言不斷的增多，動態網頁的類型也越來越多，如：asp、jsp、php等。這些類型的網頁對於搜索蜘蛛來說，可能還稍微容易一些。搜索蜘蛛比較難於處理的是一些腳本語言(如VBScript和javascript)生成的網頁，如果要完善的處理好這些網頁，搜索蜘蛛需要有自己的腳本解釋程序。對於許多數據是放在數據庫的網站，需要通過本網站的數據庫搜索才能獲得信息，這些給搜索蜘蛛的抓取帶來很大的困難。對於這類網站，如果網站設計者希望這些數據能被搜索引擎搜索，則需要提供一種可以遍歷整個數據庫內容的方法。

　　搜索引擎不斷的成熟，不斷的完善，更加符合人們的搜索習慣，就要不段的清理已收錄的網頁，對於自己網站在搜索引擎收錄減少並不可怕，只要我們認真的分析原因，誠心誠意的去面對，搜索引擎會給你更多流量回報的。下面我就來談談收錄減少的處理辦法。

　　對於網頁內容的提取，一直是搜索蜘蛛中重要的技術。整個系統一般采用插件的形式，通過一個插件管理服務程序，遇到不同格式的網頁采用不同的插件處理。這種方式的好處在於擴充性好，以後每發現一種新的類型，就可以把其處理方式做成一個插件補充到插件管理服務程序之中。

　　一. 收錄量歸0

　　如果收錄量一夜之間歸0了，這種大多數時候就是各大搜索引擎在大量改參數，參數對你站不利，當然要給你清0了。比如我的站aabc.com一晚上就給我清0了，這種要想恢復，時間上就要長一點，這時你如果域名不是很重要的話，可以放手，或更新時間上少用點，註意更新的質量，多搞原創，多搞點高權重的外鏈接優化。運氣好的話一個星期就能恢復部分收錄。當然如果你的站同時被幾個搜索引擎都給清0了，這時你最好是不要這個站了，有可能真的是某一方面不符合搜索引擎的胃口。正常情況下基本上只有Yahoo才會清0收錄量，谷歌是很少。不過他們給我們站來的流量不多，可以不管他們。

　　二. 收錄量狂掉

　　如果你的收錄量，在一個星期之內，收錄量就掉了一大半了或更多，這個時候，你一定要註意了，不能大意了。仔細的檢查一下看是不是空間的問題，網頁代碼的問題，網頁代碼讓人給惡意更改了沒，是否改版，查看最近一天的流量圖，關鍵字走向，是不是有違規的內容等等，我們能想到的都看看吧。

　　三. 收錄量適當的減少

　　如果你的網站SEO收錄不管是Yahoo還是谷歌等搜索引擎，某一天收錄量給減少了一部分，這個一部分我所指的是網站總收錄量的十分之一或更少，這種情況我們不用擔心，這可能就是搜索引擎在進行小調整，這個是正常的，這個沒什麽的。人就還有個傷風感冒的時候，更何況是機器，程序也有出錯，計算或許進步的時候。

 文章源自：http://www.jseo.com.tw/news-4b7c8a62-197a-9975-e8df-914a167bd27d.html