网站SEO不是做弊重在用户体会

作为一名网站优化人员，我们都很清楚Robots.txt文件对我们网站的重要性，Robots.txt文件只一个纯文本文件，它就像网站地图一样，给搜索引擎指明路途，当蜘蛛搜索一个站点时，它首要匍匐来查看该网站的根目录下是否存在Robots.txt文件。

如果存在的话，搜索引擎会依照该文件的内容来确定拜访规模，如果该文件不存在的话，那么搜索引擎就会沿着链接来抓取。那么程序员在设置Robots.txt文件时分应该了解到这个文件给我们网站带来了哪些优点？

榜首，Robots.txt文件大大节省服务器宽带

我们都知道像email retrievers、image strippers这类搜索引擎都耗用许多宽带，并且对网站没有什么太大的意义，而经过Robots.txt就能够阻止不必要的匍匐作业，如果你的网站是图片站的话，没有设置好Robots.txt文件的话，就会糟蹋许多的服务器宽带。

第二、方便搜索引擎爬起作业

如果你的网站内容丰富，页面许多，设置Robots.txt文件更为重要，比方你有个网站，整个站有50多个G，翻开页面可能会比较慢，如果不装备好Robots.txt文件的话，蜘蛛匍匐作业就会很吃力，并且如果太多的蜘蛛匍匐，以至会影响你网站的正常拜访。

第三、robots.txt文件能够阻止搜索引擎索引页面

你能够经过RobotS.txt文件对你的网站非公开页面进行阻止蜘蛛匍匐，如果你的网站后台程序、管理程序很重要不想让他人看到、那么你能够经过Robots.txt进行设置，事实上，关于某些在运行中发生暂时页面的网站来说，如果没有装备Robots.txt文件的话，搜索引擎甚至会索引那些暂时文件。

第四、robots.txt对网站地图链接重要性

如果我们把自己的网站地图链接放在robots.txt文件里，那么我们每天就不用到各个搜索引擎的站长东西或许类似的站长部分去提交自己的sitemap文件，各大搜索引擎都发布了对网站地图的新的支撑方法，就是在robots.txt文件里直接包含sitemap文件的链接。现在对此表示支撑的搜索引擎公司有Google，Yahoo，而中文搜索引擎公司，显然不在这个圈子内。

这样做的优点就是我们能够不用每天去各大搜索引擎去提交自己的sitemap文件，能够削减我们的一部分作业量，何乐而不为呢？