端点SEO博客

系统化学习SEO技术,实时关注业界动态

Robots协议是什么

robots是站点与spider沟通的重要渠道,站点通过robots协议声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt协议。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt协议。为了避免站长在设置robots协议时出现错误,百度站长平台特别推出了robots工具,帮助站长正确设置robots。查看robots.txt写法举例详细说明

哪些情况下需要使用robots工具?
1、我的网站下有某个目录涉及到了隐私数据,不想被搜索引擎收录。

此时您可以使用robots工具—创建生成页面中,根据robots规则创建正确的robots文件,并将robots文件上传到网站顶级目录中。

Robots协议是什么

2、我用robots封禁了网站的某目录,但依然被抓取,怎样查设置的robots文件是不是已生效?如果还未生效,怎样提醒百度更新?

查看网站已生效的robots文件:您可以在robots工具—robots检测—下拉列表选取站点域名,点击“检测”,就可查看网站已生效的robots文件,并同时会展现网站最新的robots文件。
提醒百度更新网站的robots文件:若已生效的robots文件不是最新的,那可在“robots检测”页面的下方“提交更新”处点击更新进行提醒。

052

3、我的网站设置robots文件,怎样判断设置的是否正确?

您可在robots工具—规则校验中, 对robots代码的语法及逻辑进行校验,并可校验路径是否被封禁。

(1)校验语法或逻辑错误:您可在robots工具—规则校验中,输入robots代码,点击“校验,会展现您所填写的Robots规则是否有语法错误。Robots填写还支持从已验证网站直接导入robots内容。

(2)校验路径是否被封禁:您可在robots工具—规则校验中,分别输入robots代码、需要校验的路径,点击“校验”,会额外展现该路径是否成功被封禁。

Robots协议是什么

除非注明,文章均由©端点SEO博客原创
转载请保留本文链接:http://www.iseoduan.com/baiduseo/261.html
最后更新: 2016年11月24日 — 22:20
©2015~2017 | 端点SEO博客:揭露SEO本质,提供SEO培训,系统的学习SEO优化 备案号:京ICP备12011610号-3 站点地图|端点SEO博客