搜索引|擎Spider對(duì)網(wǎng)站的抓取情況，應(yīng)該是最值得SEO人員研究的內(nèi)容。但是很多SEO人員面對(duì)已經(jīng)在日志中提取出來(lái)的搜索引擎抓取記錄，并不知道需要分析什么。這里簡(jiǎn)單討論一下Spider對(duì)網(wǎng)站的抓取情況都有哪些方面是值得分析的，以及分析出的結(jié)果是如何指導(dǎo)SEO工作的。
Spider的抓取數(shù)據(jù)可以分析:Spider對(duì)整個(gè)網(wǎng)站的抓取頻率、Spider對(duì)重要頁(yè)面的抓取頻率、Spider對(duì)網(wǎng)站內(nèi)容的抓取分布情況、Spider對(duì)各種類(lèi)型網(wǎng)頁(yè)的抓取情況、Spider對(duì) 網(wǎng)站的抓取狀態(tài)碼情況等。

1. 通過(guò)分析Spider對(duì)整個(gè)網(wǎng)站的抓取頻率的趨勢(shì)，可以簡(jiǎn)單了解網(wǎng)站在搜索引擎眼中的質(zhì)量。如果網(wǎng)站沒(méi)有進(jìn)行過(guò)大幅度的變動(dòng)，并且內(nèi)容正常更新，搜索引擎的抓取頻率卻逐漸或突然大幅度降低，不是網(wǎng)站運(yùn)行出現(xiàn)錯(cuò)誤，就是搜索引擎認(rèn)為網(wǎng)站質(zhì)量出現(xiàn)了問(wèn)題;如果搜索引擎的抓取頻率突然增大，可能是網(wǎng)站有404之類(lèi)的頁(yè)面引起了Spider的集中重復(fù)抓取;如果搜索引擎的抓取頻率逐漸增大，可能是隨著網(wǎng)站內(nèi)容的逐漸增多，權(quán)重的逐漸積累，而獲得的正常抓取。持平和平緩的變動(dòng)不足為奇，如果出現(xiàn)大幅度的變動(dòng)，就需要引起足夠的重視了。
2. (2)通過(guò)分析Spider對(duì)重要頁(yè)面的抓取規(guī)律，可以輔助網(wǎng)頁(yè)內(nèi)容更新頻率的調(diào)整。一般搜索引擎Spider會(huì)對(duì)站內(nèi)的重要頁(yè)面進(jìn)行高頻度的抓取，這類(lèi)頁(yè)面一般不會(huì)是內(nèi)容頁(yè)，而是首頁(yè)、列表頁(yè)或者擁有大量外鏈的專(zhuān)題頁(yè)。在網(wǎng)站中有很多種此類(lèi)抓取頻率非常大的頁(yè)面，比如前面所說(shuō)的網(wǎng)站首頁(yè)、目錄頁(yè)和專(zhuān)題頁(yè)。在網(wǎng)站中往往還會(huì)有其他更多類(lèi)型的聚合頁(yè)同樣有著比較大的抓取頻率。尤其是網(wǎng)站的首頁(yè)，很多網(wǎng)站的首頁(yè)每天都會(huì)得到搜索引擎成千上萬(wàn)次的抓取，但是不少網(wǎng)站首頁(yè)上更新的鏈接很少，有些浪費(fèi)了首頁(yè)本身權(quán)重所帶來(lái)的Spider高抓取頻率。在不影響SEO關(guān)鍵詞密度和布局的前提下，SEO人員可以充分利用這部分資源，來(lái)使網(wǎng)站內(nèi)所有的新內(nèi)容都被搜索引擎及時(shí)發(fā)現(xiàn)，也減少搜索引擎的無(wú)效抓取。雖然現(xiàn)在通過(guò)百度站長(zhǎng)平臺(tái)的sitemap工具，可以直接把站內(nèi)的URL提交給百度，并不需要太過(guò)擔(dān)心百度發(fā)現(xiàn)不了網(wǎng)站內(nèi)新內(nèi)容的問(wèn)題，但是現(xiàn)在也有部分網(wǎng)站是沒(méi)有sitemap提交權(quán)限的，并且這種通過(guò)頁(yè)面發(fā)現(xiàn)鏈接的形式還會(huì)帶有-定的權(quán)值傳遞。眾所周知，網(wǎng)頁(yè)的收錄與否，除取決于網(wǎng)頁(yè)內(nèi)容的質(zhì)量外，與網(wǎng)頁(yè)所獲得的外鏈和網(wǎng)頁(yè)的權(quán)重也是有關(guān)系的，所以以上分析和改進(jìn)還是值得進(jìn)行的。
3. 分析Spider對(duì)網(wǎng)站內(nèi)容的抓取分布情況。每個(gè)網(wǎng)站都會(huì)分出一些不同的頻道，可能大家感覺(jué)在網(wǎng)站內(nèi)鏈和外鏈的建設(shè)中并沒(méi)有特別的偏向，或者為某個(gè)頻道做了很多鏈接，就認(rèn)為該頻道應(yīng)該會(huì)得到搜索引擎的青睞，但是事實(shí)可能不是這樣的。Spider對(duì) 網(wǎng)站內(nèi)容抓取分布情況的分析-般會(huì)結(jié)合網(wǎng)站的收錄數(shù)據(jù)，分析網(wǎng)站各頻道內(nèi)容的更新量、搜索引擎收錄量和Spider對(duì)各頻道的每日抓取量是否成正比。

                如果某個(gè)頻道的搜索弓|擎收錄不佳，首先就要分析搜索引|擎對(duì)該頻道的抓取是否正常。比如分析百度對(duì)網(wǎng)站各頻道的抓取情況，可以使用光年SEO日志分析系統(tǒng)先把百度的抓取記錄提取出來(lái)，然后使用該工具對(duì)提取出來(lái)的日志進(jìn)行分析。

4. 分析Spider對(duì)站內(nèi)各類(lèi)頁(yè)面的抓取情況。不同網(wǎng)站都有著自己不同的網(wǎng)頁(yè)類(lèi)型，這里進(jìn)行舉例說(shuō)明。在大眾網(wǎng)站中-般首頁(yè)、目錄頁(yè)、文章頁(yè)，目錄頁(yè)和文章頁(yè)可能會(huì)有分頁(yè)，但是經(jīng)過(guò)分析百度Spider的抓取記錄后，可能會(huì)發(fā)現(xiàn)百度Spider幾乎不怎么抓取分頁(yè)，不論是列表分頁(yè)還是文章分頁(yè)。
5. 分析Spider對(duì)網(wǎng)站的抓取狀態(tài)碼情況。除了上面所提到的注意網(wǎng)站異常的狀態(tài)碼，還應(yīng)該留意Spider對(duì)網(wǎng)站的抓取記錄中是否還有其他不常見(jiàn)的狀態(tài)碼出現(xiàn)。