端点SEO博客

系统化学习SEO技术,实时关注业界动态

Googlebot-谷歌机器人(网页爬虫程序)

谷歌机器人Google的网页抓取机器人。它从web上收集文档,为Google搜索引擎建立可搜索的索引。 英文名称是Googlebot译为谷歌机器人,俗称网络爬虫或搜索引擎蜘蛛。类似于中国的Baiduspider百度蜘蛛


Googlebot 和Mediapartners-Google 是非常勤奋的机器人,如果他们影响到你服务器的承受力,你可以通过 robots.txt 文件加以限制,或通过谷歌管理员工具设置抓取频次。

一般Google会让不同的Googlebot来对你的网页内容进行处理,其中包括:

  1. 抓取文字内容,获取内容来保存于Google网页搜索和新闻搜索的数据库。
  2. Googlebot-mobile:它的功能是抓取网页中的文字内容来让手机用户搜索。
  3. Googlebot-Image:抓取网页内的图片内容,保存入Google 图片搜索数据库。
  4. Mediapartners-Google:抓取网页中的文字内容,用于Google Adsense 分析关键词。只有投放了Google Adsense 的网页才会被 Mediapartners-Google 探测器爬取。
  5. Adsbot-Google:抓取网页中的文字内容,用于为Google AdWords 提供参考。只有Google AdWords 的目标网页才会被 Adsbot-Google 探测器爬取。
除非注明,文章均由©端点SEO博客原创
转载请保留本文链接:http://www.iseoduan.com/gugeseo/185.html
最后更新: 2016年11月23日 — 15:29
©2015~2017 | 端点SEO博客:揭露SEO本质,提供SEO培训,系统的学习SEO优化 备案号:京ICP备12011610号-3 站点地图|端点SEO博客