Google遗漏了什么

时间:2008-10-06 11:12:33  来源:第二电脑网上收集  作者:

  第二电脑网导读:达100亿只夺得页面存在。我们不仅要问, 那些被Google省却的页面都是什么呢?现在,我们遇到了一个难以提出的问题。如果我们想真实的知道Google到底遗漏了些什么,那我们必须要有一个比Google公司的能力更为强大的索引能力。在我们的此项研究中,作为理解Google索引了什么和遗漏了什么的开端,我们选取了"googlology"这样一个词来追踪, ’Goolology’是Webmaster World在...
  正文:

许多人以为Google索引了互联网上的一切。不过,Google或许是我们所拥有的最好的搜索引擎,但是, Google所索引的互联网上的资源远比我们想象的要少得很多。根据Google首页面提供的数据,目前,它索引了3,083,324,652个页面,而据估计,实际上在互联网上有达100亿只夺得页面存在。我们不仅要问, 那些被Google省却的页面都是什么呢?

现在,我们遇到了一个难以提出的问题。如果我们想真实的知道Google到底遗漏了些什么,那我们必须要有一个比Google公司的能力更为强大的索引能力。在我们的此项研究中,作为理解Google索引了什么和遗漏了什么的开端,我们选取了"googlology"这样一个词来追踪, ’Goolology’是Webmaster World在2002年10月第十二期第一次提出来的,续而作为一个词在Microdoc News的前身站点Google Village上被使用,到2003年5月10日,通过Google的查询,该词意共出现在655个页面。然后,我们开始在互联网上到处搜索所有包含有 "googlology"的页面,作为我们首次探究Google究竟遗漏了那些的实例,我们发现,"googlology"这个词在当前实际所出现的页面数目要比Google列出的要多。

Google从它的数据库中的总共655个页面中列出了624个页面的索引。我们抓取了那些链接的screen-scraped,把它们放入我们的文本数据库中。我们的研究人员设置了WebWolf?,让这个桌面“爬虫”在互联网上工作了两个星期来猎取那些包含有"googlology"的页面。我们将网络上多达220,000个链接的Blogging新闻标题作为出发点;我们的爬虫从那里开始,跟随着一个又一个链接,直到它能在互联网上寻遍 "googlology"这个词。

在两个礼拜的搜索之后,我们找到了2,199个页面包含"googlology"这个词。这也就意味着Google只索引了所有包含有 "googlology"这个词的页面的29%。我们发现,另外的1,544包含有"googlology"的页面在Google的数据库中不存在。我们不尽要问,那些抡有被Google索引的页面都是哪些?它们都来自那种类型的站点?

Microdoc News使用了一个mapping工具来分析我们在搜索中创建的数据库。所有包含有"googlology" (2,199个)的页面用最外圈的犗黑线椭圆被标绘在我们的映射图上。这个大的椭圆里面的整个区域代表那些包含有"googlology"的所有页面。我们对这些页面按照下面的七类进行归类:

Blog页面

教育类页面

主流媒体站点的页面

新闻,信息和目录页面

Junk

Other database by Google

Other not-databased by Google

结果显示在下面这种映射图中。它为我们提供了一个包含有"googlology",但抡有被Google索引的页面的可视化图景。图中红艊区域标绘了哪些包含有"googlology",并且所有被Google索引的624个页面。

正如你所看到的,大约有一半左右包含有"googlology"的blog页面被Google索引,包含有"googlology"的教肊类站点页面中,约有37%被Google索引,类似的,主流媒体站点类页面中,29%被索引,News, Information and Directories类页面中大概是45%,junk站点类中,例如Geocities和其他类似的站点,约有8%被索引。

那些被Google数据库所遗漏的页面,看来多是那些用到该术语比较早的页面,例如2002年12月以前,在那里我们发现多达153个包含有该词的教肊类站点页面(它们引用到Webmaster World对该术语的使用),它们没有被Google索引。同样,也有许多在2月到3月之间的blog页面(它们引用到Google Village站点)和许多Microdoc News页面抡有被Google索引。我们还发现在在CNet?、ZDNet?和类似BBC、Siemens和其他媒体类站点的包含有该词的页面没有被列在Google中。

根据这些以及我们对数据的进一步分析,要是我们真的把对"googlology"这个词的分析的结果应用到所有的其他词去,那么,我们能得到这样一些试验性的结论:

Google并不索引互联网上的每一个页面;

Google倾向于抛下(或不索引)那些到现在三到六个月以前或更早的页面;

Google倾向于包含blogs、educational以及news and information类站点最新页面(在三个月内创建的页面)中的98%;

Google一般会索引主流媒体站点在最近三个月内创建的页面中的80%;

Google通常会忽略那些信息量很少的某些类型的站点的页面;

在网络上有2,199张包含有"googlology"的页面,Google仅仅列出了624张,而Google声称有655张。Google通常抛下较老的页面,它看上去是选择性的,比如"googlology",3个月、6个月或者更早以前的页面中,仍然有一张或更多的页面被索引,而同时,同期的包含其他该词的其他页面被抛下了。

虽然我们没有非常正规的对该词作研究,但是似乎是在所给的三个月的时期内,第一次包含有"googlology"的页面被Google长期的获留,而同时期的其他包含有"googlology"的页面被逐站的抛下。因此结果是,我们能在Webmaster World找到使用"googlology"的页面,特别是它第一次使用的页面,但是并不能发现在接下来的10、11、12月中所有的包含 "googlology"的页面。我们能找到Google Village和Microdoc News中包含"googlology"的页面,但并不是所有的情况,在一月到三月这段时间,在Google数据库中,我们站点自己的页面仅出现一次,其他的全部都抡被数据库收进。

用什么描绘来比拟Google搜索引擎是什么样的呢?我们想Google像是一束巨大的搜索的光芒,很像地球上看到的太阳的光亮。它的光指向它所作用到的地方,and what else is going on, 例如象互联网上的多数静态部分,Google索引抛下引用到它们那里的引用。静态的意思是,那些页面抡有被更新,或者作任何的变动,也许是没有被个人搜索到。出现在Google的数据库中的,并不意味着它总是在那里。似乎是Google数据库频繁的将一些页面刨除。Google所索引的30亿或更多的页面看上去是互联网上最为重要的30亿个页面。Google所抛下的,是那些抡有被更新或者常被用到的页面,就像我那些六个月以前的老文章。

Google遗漏了什么》由第二电脑网原创提供,转载请注明:http://www.002pc.com/master/Operation/Search/google/2008-10-06/2528.html


关键字:

关于《Google遗漏了什么》文章的评论

站内搜索: 高级搜索

热门搜索: Windows style 系统 tr IP QQ CPU 安装 function 注册 if td