網(wǎng)站日志,是服務(wù)器端自動(dòng)生成的一個(gè)文本記錄,詳細(xì)記載了網(wǎng)站的訪問詳情,做為站長(zhǎng)的你,如果是需要查看訪問統(tǒng)計(jì)數(shù)據(jù),那用#或者百度統(tǒng)計(jì) 工具就可以了,但是如果你想查看各搜索引擎的蜘蛛是否準(zhǔn)時(shí)來爬行自己的網(wǎng)站,那就要學(xué)會(huì)自己查看網(wǎng)站日志文件了。結(jié)合我們自己的網(wǎng)站做為一個(gè)實(shí)例來做一個(gè)介紹:
首先利用FTP工具登錄服務(wù)器端,一般在服務(wù)器根目錄之下存在一個(gè)logs文件夾,這里面裝的就是網(wǎng)站日志,當(dāng)然不同的服務(wù)器類型,日志文件的文件夾名稱和我介紹的不一樣,但沒關(guān)系,日志文件的擴(kuò)展名是log。
進(jìn)入日志文件夾,你會(huì)發(fā)現(xiàn),日志文件是按每一天的訪問情況為一個(gè)文件保存的:
進(jìn)入日志文件夾,你會(huì)發(fā)現(xiàn),日志文件是按每一天的訪問情況為一個(gè)文件保存的:
好吧,我的服務(wù)器只保留最近三天的日志文件,真小氣,我還用過一個(gè)國(guó)外的服務(wù)器,人家是按月記錄,并且當(dāng)月結(jié)束后會(huì)將當(dāng)月的日志打包供下載,只要你不人為刪除,該日志文件會(huì)永遠(yuǎn)存在,這才叫個(gè)性化,但是沒辦法,誰(shuí)叫我們只能用國(guó)內(nèi)的服務(wù)器。
OK,報(bào)怨了幾句,隨便下載一天的日志文件,用Windows文本工具打開該日志文件,會(huì)看到一堆酷似代碼的字符,祝文件大小打開速度也不同:
注意看有背景的這一小部分,我用CTRL+F搜索功能查找baiduspider,好吧,為什么要查找baiduspider,這里先普及一下關(guān)于搜索引擎蜘蛛的一點(diǎn)小知識(shí),各大搜索引擎的蜘蛛都有名字:
百度的叫baiduspider;
谷歌的叫Googlebot;
微軟的叫bingbot;
搜狐的叫Sogou web spider;
騰訊的叫Sosospider;
因?yàn)閲?guó)內(nèi)主要是以百度為優(yōu)化對(duì)象,我們來看看關(guān)于百度蜘蛛爬行記錄的信息分析,在日志記錄中隨便找一個(gè)百度蜘蛛的信息:
125.90.88.96 - - [07/Sep/2012:19:16:21 +0800] "GET / HTTP/1.1" 200 5374 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
怎么解讀這些信息呢?蜘蛛IP--【訪問時(shí)間】“獲取路徑”HTTP反饋值200 反饋?zhàn)止?jié)數(shù)5357 百度蜘蛛標(biāo)記。
好吧,這里面獲取路徑與HTTP反饋值是非常重要的信息,200為正常讀取,讀取了5374個(gè)字節(jié)。我們?cè)俜治鲆粭l記錄:
220.181.51.118 - - [07/Sep/2012:09:54:15 +0800] "GET /product/disp.php?id=93 HTTP/1.1" 301 249 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
認(rèn)真看獲取路徑這一項(xiàng),因?yàn)槲业木W(wǎng)站是老域名,原來的主人被收錄的路徑/product/disp.php?id=93,百度蜘蛛同樣爬行,結(jié)果我的 新網(wǎng)站里肯定不會(huì)有這一條信息,由于HTTP反饋了301,而301代表已移動(dòng) — 請(qǐng)求的數(shù)據(jù)具有新的位置且更改是永久的。其實(shí)這對(duì)于我來說是一件好事,蜘蛛爬行不通,知道這條收錄記錄已經(jīng)失效,慢慢就會(huì)從百度的收錄數(shù)據(jù)庫(kù)中刪除?,F(xiàn)在 百度正在審核我的新站點(diǎn),一天爬行只有23次,也很不錯(cuò)了的。
好了,大家是不是可以舉一反三的學(xué)會(huì)看其它搜索引擎蜘蛛的爬行記錄了呢?下次,筆者將重點(diǎn)再分享一下HTTP的反饋值,大家通過這個(gè)反饋值可以獲悉自己網(wǎng)站的健康狀態(tài)哦,非常重要。
當(dāng)然,有朋友會(huì)說為什么不利用一些日志查看工具,人工手動(dòng)察看費(fèi)時(shí)費(fèi)力,是的,有些不錯(cuò)的工具可以提供更便捷的操作,今天筆者所述內(nèi)容旨在用最初級(jí)的方法教會(huì)大家學(xué)會(huì)察看自己網(wǎng)站的日志。希望以上內(nèi)容能對(duì)你有點(diǎn)幫助。
本篇文章地址:http://huiyaoqp.com/html/xinwenzixun/seozhishi/90.html,轉(zhuǎn)載請(qǐng)注明鏈接謝謝。