模仿 Googlebot 机器人抓取你网页的代码

时间:2009-10-16 08:22:51  来源:第二电脑网  作者:第二电脑网

  第二电脑网导读:在这个 Labs 功能下面还有一个查看恶意软件的细节功能,自动侦测。Fetch as Googlebot在这个功能下,你可以查看任何你自己站点页面代码,通过 Google 机器人的视角,好好的审视自己的站点。操作过程很简单,只要点击 Labs 打开功能,点击 Fetch 按钮查看,等待google机器人的处理,几秒钟后,再刷新一下就可以看到结果了。
  正文:

Google 网站管理员工具刚刚发布了一个 Labs 功能,其中有个功能叫做 Fetch as Googlebot ,你可以在这里模仿googlebot,查看你自己的网页代码。不过这个功能是必须通过管理员验证的网站才能查看,没有网站管理权限就没机会了。

而在这个 Labs 功能下面还有一个查看恶意软件的细节功能,自动侦测。

Fetch as Googlebot

在这个功能下,你可以查看任何你自己站点页面代码,通过 Google 机器人的视角,好好的审视自己的站点。操作过程很简单,只要点击 Labs 打开功能,点击 Fetch 按钮查看,等待google机器人的处理,几秒钟后,再刷新一下就可以看到结果了。

fetch-as-google

有朋友奇怪了,这和我们平时看网页的源代码有什么不同呢? 为什么要麻烦蜘蛛再来一次,而且必须在网站管理员工具中查看

  • 首先你坑看到Http的头信息,这个信息可以通过 Live HTTP Headers 等工具查看到,但是直接查看源代码是看不到的,见上图中最顶部,相当于有个小探针,帮你查看更多的服务器信息和其他相关信息。
  • 其次你可以比较蜘蛛看到的信息和人看到的信息有什么不同。这个工具用的是和 Google 抓取网页的那个Googlebot 及其人一样的IP,一样的方式,一样的 user-agent,如果你在不知情的情况下被人进行了代码修改,在蜘蛛下和人为下看到的代码不一样(英文叫clocking),就可以靠这个工具来检 查了。
  • 还有你可以用这个工具测试一些变化,比如重定向。

在这个工具中你还能发现一些额外的东西,比如 JavaScript 能被 googlebot 抓取

我没有flash站,有的朋友也可以看看flash在googlebot中是什么样子的。

目前测试发现Google机器人只能抓取前100000字节的内容,有人就会觉得网页文件最好不要超过这个大小,还有人说做链接不要放在底部。其实这个没关系,这个只是工具的作用,跟真实的Googlebot机器人还是有一定差距,你看看新浪的首页,肯定不止100KB

小知识:什么是Cloaking?

通常是说在Web服务器上使用一定的手段,对搜索引擎中的巡回机器人显示出与普通阅览者不同内容的网页。

现象1:为了提高在搜索引擎中的名次,不自然地大量向网页中输入关键字,使其不展现给普通用户,单是选择性地发给搜索引擎的一种手法。

现象2:黑链,今年就流行黑客了。当然,普通黑客的所谓黑链,人可以直接在源代码里看出来,但若有高手用了cloaking,那就不得了。 (据传搜索引擎会对cloaking的网站进行严惩)

小知识:如何测试我的重定向?

用这个工具测试的话,就不用再去等待 Google 重新收录你的网站,比如我们给www.002pc.com 做了重定向,自动跳到www.j007.com,你就可以通过这个工具了检测是否顺利了。


模仿 Googlebot 机器人抓取你网页的代码》由第二电脑网原创提供,转载请注明:http://www.002pc.com/master/Operation/Search/google/11400.html


关键字:

关于《模仿 Googlebot 机器人抓取你网页的代码》文章的评论

站内搜索: 高级搜索

热门搜索: Windows style 系统 tr IP QQ CPU 安装 function 注册 if td