Robots文件中应该屏蔽哪些文件?

网站的robots.txt文件设置是不是合理，哪些文件或许目录需求屏蔽、哪些设置办法对网站运营有帮助?有人复制出相同的内容以应付不同搜索引擎的排名规则。然而，一旦搜索引擎发现站内有大量“克隆”的页面，就会给以惩罚，不收录这些重复的页面。另一方面，我们网站的内容属于个人私密文件，不想暴露在搜索引擎中。这时，robot.txt就是为了解决这两个问题。

一、什么是robots.txt文件

查找引擎运用spider程序主动拜访互联网上的页面并获取页面信息。spider在拜访一个网站时，会首先会查看该网站的根域下是不是有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取规划。您能够在您的网站中创立一个robots.txt，在文件中声明 该网站中不想被查找引擎录入的有些或许指定查找引擎只录入特定的有些。

二、Robots文件中应该屏蔽哪些文件

1)图像目录

图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多cms的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在robots.txt文件中进行屏蔽，一般的网站图像目录是：imags 或许 img;

2)网站模板目录

如上面 图像目录中所说，cms的强大和灵敏，也致使了许多同质化的网站模板的呈现和乱用，高度的重复性模板在查找引擎中形成了一种冗余，且模板文件常常与生成文件高度类似，相同易形成相同内容的呈现。对查找引擎很不友爱，严峻的直接被查找引擎打入冷宫，不得翻身，许多cms有具有独立的模板寄存目录，因而，大概进行模板目录的屏蔽。一般模板目录的文件目录是：templets

3)css、js目录的屏蔽

css目录文件在查找引擎的抓取中没有用途，也无法供给有价值的信息。所以强烈主张在robots.txt文件中将其进行屏蔽，以进步查找引擎的索引质量。为查找引擎供给一个简洁明了的索引环境更易晋升网站友爱性。css款式的目录一般情况下是：css 或许 style

js文件在查找引擎中无法进行辨认，这里仅仅主张，能够对其进行屏蔽，这样做也有一个优点：为查找引擎供给一个简洁明了的索引环境;

4)屏蔽双页面的内容

这里拿dedecms来举例吧。我们都晓得dedecms能够运用静态和动态url进行同一篇内容的拜访，若是你生成全站静态了，那你有必要屏蔽动态地址的url连接。这里有两个优点：

1、查找引擎对静态的url比动态的url更友爱、更简单录入;

2、避免静态、动态url能拜访同一篇文章而被查找引擎判为重复内容。这样做对查找引擎友爱性来说是有益无害的。

5)被删去的目录

死链过多，对查找引擎优化来说，是丧命的。不能不导致站长的高度注重，。在网站的开展过程中，目录的删去和调整是不可避免的，若是你的网站当时目录不存在了，那有必要对此目录进行robots屏蔽，并回来正确的404过错页面。至于404页面怎么设置，请查看下面的推荐内容。

这里有一个争议性的疑问，关于网站后台办理目录是不是需求进行屏蔽，其实这个可有可无。在能确保网站安全的情况下，若是你的网站运营规划较小，就算网站目录呈现在robots.txt文件中，也没有多大疑问，这个我也见过许多网站这样设置的;但若是你的网站运营规划较大，对手过多，强烈主张千万别呈现网站后台管理目录的信息，以防被心怀叵测的人使用，危害你的利益;引擎越来越智能，关于网站的管理目录仍是能极好的辨认，并抛弃索引的。别的，我们在做网站后台的时分，也能够在页面元标签中增加：进行查找引擎的屏蔽抓取。

以上就是山西seo傲远老师对Robots文件中应该屏蔽哪些文件的介绍，更多SEO基础知识，请关注SEO入门教程栏目，如果您有外包需求，请查看SEO外包栏目。

博主推荐：

1、什么是伪静态路径?

2、404页面优化

3、Robots.txt文件写法以及注意事项