端点SEO博客

系统化学习SEO技术,实时关注业界动态

标签:robots

【百度官方】robots文件是否支持中文目录

有同学问百度站长学院一个关于robots的问题:我们有个站点的目录结构使用的是中文,这样式儿的:www.a.com/冒险岛/123.html,那在制作robots文件和sitemap文件的时候,可以直接使用中文吗?百度能获取到吗?在实际操作中我们发现,sitemap中有文件是可以生效的,但robot […]

robots文件中到底要不要屏蔽JS和CSS

最近发现百度蜘蛛每日抓取网站的js和css文件非常频繁,甚至能占每日抓取量的五分之一,百度蜘蛛每日抓取5000次,其中单独抓取js和css文件就有一千多次。 遇到这种情况,是否应该使用robots协议屏蔽蜘蛛抓取上述文件?? 需要说明,下面为个人见解: 1、robots全部屏蔽掉不太建议,因为随着网 […]

网站误封Robots该如何处理

robots文件是搜索生态中很重要的一个环节,同时也是一个很细节的环节。很多站长同学在网站运营过程中,很容易忽视robots文件的存在,进行错误覆盖或者全部封禁robots,造成不必要损失! 那么如果误操作封禁了robots怎么办?今天我们请到了厦门258网站运营负责人——郑 […]

Robots协议是什么

robots是站点与spider沟通的重要渠道,站点通过robots协议声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt协议。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt协 […]

使用robots巧妙避免蜘蛛黑洞

对于百度等搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。 比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜 […]

Noodp标签是什么

Noodp标签放在HTML的head部分,代码如下: <meta name="ROBOTS" content="NOODP"> NOODP标签的作用: 当网站被开放目录收录时,google、雅虎、必应等搜索引擎(目前还不知道百度是否开放对noodp […]

©2015~2017 | 端点SEO博客:揭露SEO本质,提供SEO培训,系统的学习SEO优化 备案号:京ICP备12011610号-3 站点地图|端点SEO博客