超级蜘蛛池之robots的优化
一、 概述 纯文本文件,网站管理员可以在这里声明该网站不想 访问的部分,所以 优化直接影响着搜索引擎对网站的收录情况; 必须放置在一个站点的根目录下,并且文件名必须全部小写: ; 就算你的网站全部内容都可以被搜索引擎收录,那也要写个空的 ;因为有的服务器的设置会使没有 的时候返回 状态码和相应的错误信息; 二、 的写法 、允许搜索引擎访问所有部分(一般可不写) 、禁止搜索引擎访问任何部分 、禁止搜索引擎访问某几个部分 、允许某个搜索引擎访问 、禁止所有搜索引擎蜘蛛访问某几个目录下的内容及文件 、禁止除了百