拿百度算法為例,百度及他的爬行規(guī)則,更新時間等,一直是我們做SEO的不斷去摸索的事情。經(jīng)過我用多個網(wǎng)站不斷測試,并分析日志。大致得出以下猜想
1:百度小更新每周星期四,大更新每月11日與26日尤其是26日,這個大部分人都清楚一點。
2:但是每天呢,我們都知道,百度蜘蛛是會不斷在網(wǎng)上進行爬行抓取新的網(wǎng)頁的。而根據(jù)我對多個網(wǎng)站的測試分析,發(fā)現(xiàn)有一個規(guī)律,百度蜘蛛的工作作息是以四小時為一單位,
1-3小時不停地抓取頁面,第4個小時開始更新百度網(wǎng)站數(shù)據(jù)庫。每天的更新時間段好像是分布在0-1點,4-5點,8-9點,12-13點,16-17點,20-21點這6個時間段。