很多SEO人員并沒有真正理解爬行、抓取、索引、收錄這些概念到底指的是什么、區(qū)別在哪，以及noindex、nofollow、robots文件的實(shí)質(zhì)功能又是什么。對(duì)這些概念沒有精準(zhǔn)理解，處理大型網(wǎng)站結(jié)構(gòu)，決定什么頁面需要被抓取，什么頁面需要被索引，哪些頁面需要禁止抓取、素引等情況時(shí)，就很難明白SEO該怎么做。所以，這里先來弄清楚這些概念的意義。

　　1.爬行

　　爬行指的是搜索引擎蜘蛛從己知頁面上解析出鏈接指向的URL，也就是沿著鏈接發(fā)現(xiàn)新頁面（鏈按指向的URL）的過程。當(dāng)然，蜘蛛并不是發(fā)現(xiàn)新URI就馬上爬過去抓取新頁面，而是把發(fā)現(xiàn)的URL存放到待抓地址庫中，按照一定順序從地址庫中提取要抓取的URL。

　　2.抓取

　　抓取是指搜索引擎蜘蛛從待抓地址庫中提取要抓的URL，訪問這個(gè)URL，把讀取的HTML代碼存入數(shù)據(jù)庫的過程。蜘蛛抓取就是像瀏覽器一樣打開這個(gè)頁面，過程和用戶瀏覽器訪問一樣，也會(huì)在服務(wù)器原始日志中留下記錄。

　　3.索引

　　索引的英文是index，指的是將一個(gè)URL的信息進(jìn)行整理，并存入數(shù)據(jù)庫，也就是素引庫。用戶搜索時(shí)，搜索引擎從素引庫中提取URL信息并排序展現(xiàn)出來。索引庫是用于搜索的，被索引的URL是可以被用戶搜索到的，沒有被索引的URI，用戶在搜索結(jié)果中是看不到的。

　　要注意的是，所謂“一個(gè)URL的信息”，并不限于蜘蛛從URL上抓取來的內(nèi)容，還有來自其他來源的信息，如外部鏈接、鏈接的描文字等。有的時(shí)候，索引庫中關(guān)于這個(gè)URL的信息，根本沒有從這個(gè)URL抓取來的內(nèi)容，但搜索引擎知道這個(gè)URL的存在，并且存在一些其他信息。

　　4.收錄

　　我個(gè)人覺得收錄和索引沒有區(qū)別，在這里是混用的。只不過收錄是從站長(zhǎng)角度看的，搜索時(shí)能找到這個(gè)URI，就是這個(gè)URL被收錄了。從搜索引擎角度看，URL被收錄了，也就是這個(gè)URL的信息在索引庫中存在了。英文中并沒有收錄這個(gè)詞，它和索引使用的是同一個(gè)詞index。

　　有的時(shí)候，站長(zhǎng)并不希望某些頁面被收錄(或者說被素引)，如復(fù)制內(nèi)容頁面。網(wǎng)站上不出現(xiàn)鏈接，或者使用JavaSoript鏈按，使用nofollow等方法都不能保證頁面一定不被收錄。站長(zhǎng)自己雖然沒有鏈按到不想被收錄的頁面，其他網(wǎng)站可能由于某種原因鏈接到這個(gè)頁面，導(dǎo)致頁面被抓取和收錄。

　　有的時(shí)候，站長(zhǎng)也不希望某些頁面被抓取，如付費(fèi)內(nèi)容、還在測(cè)試階段的網(wǎng)站等。還有一種很常見的情況，搜索引擎抓取了大量漢有意義的頁面，如電子商務(wù)網(wǎng)站按各種條件過調(diào)、飾選的頁面，各種排序、排版格式的頁面，這些貝面數(shù)量龐大，抓取過去會(huì)消耗掉搜索引擎分配給這不網(wǎng)站的抓取份額，造成真正有意義的頁面反倒不能被抓取和收錄的情況。如果通過檢在日志文什發(fā)現(xiàn)這些無意義頁面被反復(fù)大量抓取，想要收錄的頁面根本沒有抓取，那就應(yīng)該直接禁止抓取無意義的頁面。

　　要確保頁面不被抓取，需要使用robots文件，要確保頁面不被收錄，需要使用noindex meta robots標(biāo)簽。

北京愛品特SEO網(wǎng)站優(yōu)化提供專業(yè)的網(wǎng)站SEO診斷服務(wù)、SEO顧問服務(wù)、SEO外包服務(wù)，咨詢電話或微信：13811777897 袁先生 可免費(fèi)獲取SEO網(wǎng)站診斷報(bào)告。

北京網(wǎng)站優(yōu)化公司 >> SEO資訊 >> SEO技術(shù)技巧 >> 爬行、抓取、索引、收錄到底是什么意思有什么區(qū)別    本站部分內(nèi)容來源于互聯(lián)網(wǎng)，如有版權(quán)糾紛或者違規(guī)問題，請(qǐng)聯(lián)系我們刪除，謝謝！