准确熟悉SEO做好网站内部与外部规划

　　题目一：语句的先后顺序倒置

　　我们先来分析一段固然很简朴，但是被广泛应用的语句：

　　User-agent: *

　　Allow: /

　　Disallow: /1234/

　　从这三段robots语句中我们不能看出这原本的书写目的是要让搜索引擎不要爬行1234目录下面的页面，而其他的页面则没有限制。而事实上这段语句的执行效果与我们的目的是背道而驰的，为什么呢?分析后你会发现搜索引擎蜘蛛对于robots文件的读取顺序是从上到下的，假如你这么写的话这将会造成屏蔽语句失去原有的效力，修改的方法是将两者乾坤大挪移，将Disallow: /1234/与Allow: /位置对调就能实现我么想要的效果

　　题目二：屏蔽站点的某一个页面时，遗漏斜杠“/”

　　我们也常常使用robots屏蔽某一个敏感的不想搜索引擎爬行的页面，而在这条语句上我们也有良多细节想要留意，举个例子，如果加入我们想要屏蔽为于根目录下的登陆页面login.asp这一页面，有的站长可能会这么写：Disallow: login.asp，这乍一看没什么题目，但是笔者想要问一下你想要屏蔽的这个页面是位于什么目录的?是根目录或者是一级二级目录的?假如我们忽略前面的斜杠，搜索引擎蜘蛛无法知道该页面在哪里。修改的方法是：Disallow: /login.asp，这样才能真正的屏蔽位于根目录下面的login.asp这一登陆页面。

　　题目三：屏蔽站点的整个目录后，遗漏斜杠“/”

　　除了屏蔽单个页面，我想大多数站长更常使用的是屏蔽整个目录。同样举个案例，好比我们想屏蔽站点的某一个目录，如/seo/这一目录下面的页面，有的人可能会这样写Disallow: /seo。这样写是否准确呢?这样写不进有错，而且错很大，造成的危害也很大。我们这样固然可以屏蔽掉/seo/这一目录下面的所有想干页面。但是也会波折到其他不相关的页面，这也将屏蔽开头为/seo的所有页面。其施展的作用就犹如是Disallow: /seo*。修改的方法很简朴，即在我们需要屏蔽的目录名称后不要漏了斜杠，如Disallow: /seo/。

　　Robots文件可以保护我们的站点的一些文件不被搜索引擎抓取，同时也可以晋升搜搜引擎的抓取效率。但是假如我们不留意细节的话，不仅得不到效果，还往往会适得其反。但愿本文对于大家在写robots文件时有所匡助。