Robots.txt文件写法以及注意事项【SEO入门教程第16节】

一、robots.txt的定义

Robots协议也叫爬虫协议、机器人协议等,通过它来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。当一个蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,蜘蛛就会按照该文件中的内容来确定访问的范围;如果该文件不存在,蜘蛛将访问网站上的所有页面。

二、robots.txt的作用

1、引导搜索引擎蜘蛛抓取指定栏目或内容;

2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接;

3、屏蔽死链接、404错误页面;

4、屏蔽无内容、无价值页面;

5、屏蔽重复页面,如评论页、搜索结果页;

6、屏蔽任何不想被收录的页面;

7、引导蜘蛛抓取网站地图

三、robots.txt文件写法

1、User-agent:(定义搜索引擎)

示例:

User-agent: *(定义所有搜索引擎)

User-agent: Googlebot (定义谷歌,只允许谷歌蜘蛛爬取)

User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬取)

不同的搜索引擎的搜索机器人有不同的名称,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

2、Disallow:(用来定义禁止蜘蛛爬取的页面或目录)

示例:

Disallow: /(禁止蜘蛛爬取网站的所有目录 “/” 表示根目录下)

Disallow: /admin (禁止蜘蛛爬取admin目录)

Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)

Disallow: /help.html (禁止蜘蛛爬去help.html页面)

3、Allow:(用来定义允许蜘蛛爬取的页面或子目录)

示例:

Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)

Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)

4、匹配符 “$”

$ 通配符:匹配URL结尾的字符

5、通配符 “*”

* 通配符:匹配0个或多个任意字符

四、注意事项

1、robots.txt 文件必须放在网站的根目录,不可以放在子目录。

比如以山西SEO教程自学网为例:通过 http://www.seoshisha.com/robots.txt 你就可以访问www.seoshisha.com的robots.txt文件了。

2、robots.txt 文件名命名必须小写,记得在robot面加“s”。

3、User-agent、Allow、Disallow的 “:” 后面有一个字符的空格。

4、路径后面加斜杠“/” 和不加斜杠的是有区别的

Disallow: /help

禁止蜘蛛访问 /help.html、/helpabc.html、/help/index.html

Disallow: /help/

禁止蜘蛛访问 /help/index.html。 但允许访问 /help.html、/helpabc.html

5、Disallow与Allow行的顺序是有意义的:

举例说明:

允许蜘蛛访问 /admin/ 目录下的seo文件夹

User-agent: *

Allow: /admin/seo/

Disallow: /admin/

如果Allow 和 Disallow 的顺序调换一下:

User-agent: *

Disallow: /admin/

Allow: /admin/seo/

蜘蛛就无法访问到 /admin/ 目录下的 seo 文件夹,因为第一个 Disallow: /admin/ 已匹配成功。

以上是傲远老师对robots.txt文件的一些相关介绍,希望可以帮到你!

本文来自网络整理,标题:Robots.txt文件写法以及注意事项【SEO入门教程第16节】,网址:https://www.seoshisha.com/rumen/robots.html

(2)
上一篇 2017年10月3日 下午9:17
下一篇 2017年10月5日 下午7:49

相关推荐

发表评论

登录后才能评论

18721508948

2692003558@qq.com

微信