【原创】网页加载速度是如何影响SEO效果的

Tags:

作者 张国平

描述 by Gordon Choi (蔡维东),e-Bizcamp联合创始人。
在Google把网页加载速度加入到SEO排名因素前,网页加载速度本来一直都是搜索引擎对网页收录数量的一个重要因素。尤其是大型网站,通过Google管理员(站长)工具(Webmaster Tools)提供的报告,更是可以直接知道”每天抓取网页数量“和“加载每张页面的平均时间”。

“谷歌中文网站管理员博客”刚刚发表了一篇新文章,介绍了一下《google 网站管理员工具》中推出的新功能 -“网站性能”。这个工具是通过google工具栏记录了用户访问你网站的速度,并给出了很多加快你网站速度的建议。

http://www.googlechinawebmaster.com/2009/12/blog-post_30.html

而最近也传闻google将会把网页加载速度作为影响排名的一个因素。那么网页打开速度是不是能影响SEO效果?如果能影响,那是怎么影响的呢?

在揭示其中的道理之前,我希望大家能把上面那些传闻或“网站性能”的功能都忘掉。让我们追本溯源,来看看网页打开速度和SEO流量之间的关系。

做SEO有时候不需要听从别人给你的信息和意见,你只要专注于研究搜索引擎,同样也能成功的。这种关系的发现,也得益于早期我非常重视数据分析,所以我在《怎么样去学SEO(二)》中把数据分析能力列为SEOer应该具备的四大能力之一。由于有很多数据做支撑,现在我来给大家分析其中的联系,大家就容易看懂很多。

到了后期,连google也认识到了网页速度和SEO流量之间的关系,所以在这个“网站性能”以前就推出过相关的工具来帮助网站管理员。

要说明这种关系,就要从搜索引擎爬虫说起。不知道大家对于搜索引擎爬虫在一个网站上的行为有没有概念,我现在发一下某个网站(不是alibaba)的一些数据出来,大家就能意识到一些爬虫的特性了。下面是从服务器LOG日志中分析出的数据。

spider1

—-

spider2

从上面图1中可以看到google访问这个网站206次,这206次里面是由很多个不同的爬虫访问的。图2显示:有的爬虫一天之内来了8次,一共停留了2小时左右,有的爬虫来了1次,停留了20多个小时以上。所以这个网站是被很多个爬虫在不间断的访问的。为了计算方便,可以把google所有的爬虫停留在这个网站的总时间加起来。虽然一天只有24个小时的,但是google的爬虫这一天花在这个网站上的时间可能是成百上千多个小时。这里真实的数据是:在这个网站中,google所有爬虫那天在这个网站上花费的实际总时间是721个小时。

而服务器LOG日志里同样可以分析出爬虫在一个网页上的停留时间。如:

spider3

得到了这两个数据以后,用所有爬虫总的停留时间除以单个页面的停留时间,就是搜索引擎爬虫这天所抓取的页面总量。

721 小时× 3600 秒 ÷ 35 秒 = 74160 页

那么得到这个搜索引擎爬虫这天所抓取的页面总量有什么用呢?

对于一般的小网站来说,一天能被抓取 74160页是一个很不错数据。但是我上面给出的是一个中型网站,它整个网站的页面总量有800多万有SEO价值的页面。那么,在最理想的情况下,这些页面被搜索引擎抓取完要花费的时间为:

800万 ÷ 74160 页 = 108 天

这是理论上最理想的情况,实际上真实的情况为:

由于有多个爬虫在抓取网站,有很多的页面在一天之内是会被爬虫重复抓取的。有的页面一天之内被抓取20多次,有的页面一天之内只被抓取1次。通过 “停留总时间 ÷ 单个页面停留时间” 得到的页面数量,是没有去除那些重复抓取的页面的。所以搜索引擎一天之内实际抓取的不重复页面没有74160页那么多,而是40000页的样子。还有一点,爬虫今天抓取的页面,到了明天还有很多会被重复抓取。所以爬虫不光在同一天内会重复抓取很多页面,而且到了下一天还是会重复抓取前一天抓取过的很多页面。

这样下来,爬虫平均每天抓取不重复的页面数量就只有10000页的样子了。那么,要爬虫把这个网站所有的页面抓取完需要的时间为:

800万 ÷  1万页 = 800天

其实,这个800天抓取完整个网站还是太理想化了。实际的情况是很多网站由于结构的原因,有些网页创建后4-5年,都还没被爬虫抓取过。

上面的这个分析过程,都没用到什么惊天动地的计算方法。只要你有一点数据分析的意识,就能看清楚事实的。当一个网站收录量不理想,大家就应该去看看那些页面是不是被搜索引擎爬虫浏览过。如果一个页面都没有被搜索引擎爬虫浏览过,是不可能会被收录的。一个网站的收录量没有上去,那SEO流量的提升就会有很大的一个瓶颈。

根据我们刚才上面的那个分析过程,要提升网站的收录量,首先要解决的就是搜索引擎每天抓取网站的抓取量。而:

抓取量 =   爬虫总的停留时间 ÷ 单个页面的停留时间

一个网站,爬虫总的停留时间在某个期间是保持相对固定的。当然,有方法提高爬虫总的停留时间,不过这不是这篇文章要讲的内容。我们先通过减少个页面的停留时间也可以增加爬虫的抓取量。

减少爬虫单个页面的停留时间,可以简单的认为提高网页加载速度就可以了,虽然实际上这两个因素之间还存在着一个对应关系,但是这里先不讲。这个时候,网页的加载速度就和抓取量之间有了一个正比的关系,网页加载速度越快,爬虫整个的抓取量就越大。抓取量越大,有效收录量就会增加,从而促使SEO流量增加,因为给一个大中型网站带来流量的,90%以上都是长尾词。大中型网站,有时甚至是小网站,只要收录量增加一定的百分比,SEO流量也会增加一定的百分比。网页的加载速度,就和SEO流量之间建立了一个这样的关系。

其实,google也知道网页速度和SEO流量之间的关系,所以早在“网站性能”这个功能推出以前,就推出了另一个功能让大家去用,那个功能就是“google 网站管理员工具”里的“抓取统计信息”。那里把爬虫对你网站的抓取量,和你网页下载的平均时间都列了出来。

如果大家平常注意观察这里面的数据就会发现这样的规律:一旦网站下载时间减少了,那抓取量就会增大一点。

一般小网站,这样的规律还不是太明显。因为有其他影响这个规律的因素存在,而且小网站页面数太少了,爬虫随便多增加几百页的抓取量就影响了50%以上的抓取量。但是在大中型网站,这个规律是非常明显的。如:

tongji

当这个网站加快了网页加载速度,爬虫的抓取量就稳步增加了。这个图表能很有利的证明上面提到的理论。

这个图表也再次证明了我在《google 的良苦用心:网站管理员工具》里说的:“google网站管理员工具里的每个功能都是和SEO相关的”。

关于网页速度和排名,google否认曾经将网页速度列为提高排名的因素。而 Matt Cutts 最近也说:In a nutshell – while slow page load times won’t negatively impact your rankings, fast load times may have a positive effect.   有人把它翻译成:网页加载速度慢,不会影响Google排名,但是网页加载快却对排名有积极作用。 其实这样翻译是没有理解这句话,Matt Cutts的意思是:网页加载速度慢,不会影响Google排名,但是网页加载快却有积极作用。拿掉以前那个翻译中的“对排名”三个字即可。至于其中的原因,我想通过这篇文章大家都理解了吧。

这也是为什么我要在《内部链接还是外部链接》里强调一下的:有时候是因为“你没有掌握到他们那么多信息,所以你无法理解他们的话。也不会推测出他们的潜台词以及他们没有说全的话而已。” 我其实很少关注Matt Cutts说什么,但是我看到那篇翻译的文章,就断定Matt Cutts不会那么说。