1、搜索引擎蜘蛛能不能找到網頁
要讓搜索引擎發現網站首頁，就必須要有外部鏈接連到首頁，找到首頁后，蜘蛛沿著內部鏈接找到更深的內容頁，所以要求網站要有良好的結構，符合邏輯，并且所有頁面可以通過可爬行的普通HTML鏈接達到a JavaScript鏈接、Flash 中的鏈接等搜索引擎蜘蛛般不能跟蹤爬行，就會造成收錄問題。
網站所有頁面離 首頁點擊距離不能太遠，最好在四五次點擊之內.要被搜索引擎收錄.頁而需要有最基本的權重，良好的網站鏈接結構可以適當傳遞權重，使盡量多的頁面達到收錄門檻。
2、找到網頁后能不能抓取頁面內容
被發現的URL必須是可以被抓取的。數據庫動態生成、帶有過多參數的 URL、SessionID、整個頁面是 Flash，框架結構(frame)，兩疑的轉向、大量復制內容等都可能使搜索引擎敬而遠之。
某些文件站長可能不希望被收錄，除了不鏈接到這些文件，更保險的方法是使用robots文件或meta robots標簽禁止收錄。
3、抓取頁面后怎樣提煉有用信息
關鍵詞在頁面重要位置的合理分布、重要標簽的撰寫、HTML代碼精簡，起碼的兼容性等 以幫助搜索引擎理解頁而內容，提取有用信息。
只有搜索引擎能順利找到所有頁面，抓取這些頁面并提取出其中真正有相關性的內容，網站才可以被視為是搜索引擎友好的。
北京網站設計網上搜索引擎不友好的網站比比皆是，尤其是一些中小企業網站。不過這樣的網站不太好舉例，沒得到網站主人的許可就當做負面案例討論非常不恰當，在zaccode.com 網站看到一個會員詢問搜索引擎不收錄他們的內頁是怎么回事.筆者點擊過去看了一下，不由得驚呼，這個網站簡直是集搜索引擎不友好之大成，是個相當不錯的反面教材。
本文地址：http://knowyourextract.com//article/2766.html
