一、robots.txt的定义 Robots协议也叫爬虫协议、机器人协议等,通过它来告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。当一个蜘蛛访问一个站点时,它会首先检查该站点根目…
18721508948
2692003558@qq.com