Googlebot如何处理robots.txt文件?

Googlebot如何处理robots.txt文件?

1、如果Googlebot无法找到网站的robots.txt文件,则会继续抓取该网站。

2、如果Googlebot找到某个网站的robots.txt文件,它通常会遵守这些建议并继续抓取该网站。

Googlebot如何处理robots.txt文件?

3、如果Googlebot在尝试访问网站的robots.txt文件时遇到错误,但无法确定是否存在,则不会抓取该网站。

并非所有网络漫游器都遵循robots.txt。意图不好的人(例如,电子邮件地址刮刀)会构建不遵循此协议的机器人。实际上,一些不良演员使用robots.txt文件来查找您的私人内容的位置。虽然从登录和管理页面等私有页面阻止抓取工具似乎合乎逻辑,以便它们不会显示在索引中,但将这些URL的位置放在可公开访问的robots.txt文件中也意味着具有恶意意图的人可以更容易地找到它们。NoIndex这些页面更好,并将它们放在登录表单后面,而不是将它们放在robots.txt文件中。

以上就是山西SEO优化傲远对Googlebot如何处理robots.txt文件的介绍,希望可以帮到你!

阅读本文的人还阅读了以下文章:

1、谷歌停止支持robots.txt中的noindex指令

2、谷歌发布草案以正式化机器人排除协议规范

3、Robots文件中应该屏蔽哪些文件?

本文来自网络整理,标题:Googlebot如何处理robots.txt文件?,网址:https://www.seoshisha.com/google/googlebot.html

(0)
上一篇 2019年7月5日 上午12:02
下一篇 2019年7月8日 下午10:03

相关推荐

发表评论

登录后才能评论

18721508948

2692003558@qq.com

微信