做SEOer应该晓得，robots.txt文件是一个网站必不可少的文件，但seo优化网看到在很多中小公司的网站上仍是没有这个文件，今天咱们便来研究一下robots.txt文件的重要性。

1、什么是Robots？

robots文件的使用相信很多站长都会比较熟悉，但是在细节上会有所疏忽，不是特别的精通。因为robots优化的相关信息搜索引擎并没有给出比较详尽的声明及运用方法，以及每个站长对于robots的需求不同等特点，导致robot的优化方式更加灵活善变，那么robots到底是什么呢？我们可以简单的理解为通过这个robots位于网站根目录的文件协议来告诉蜘蛛哪些是可以访问收录哪些是不可以访问收录的！当蜘蛛访问您的网站的时候他首先会先检测您的网站是否设置的有robots文件协议，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，那么搜索机器人就会沿着链接抓取。

2、Robots优化写作方法：

首先，我们来看一个robots.txt范例:

# robots .txt file from http://www.seozf.com

#All robots will spider the domain

User-agent:.

Disallow:

以上文本表达的意思是允许所有的搜索机器人访问www.seozf.com站点

下的所有文件。具体语法分析如下。

#后而文字为说明信息;

User-agent后面为搜索机器人的名称，如果是“。”，则泛指所有的搜索机器人;

Disallow后面是不允许访问的文件目录，如目录为空则不起任何禁止作用。

下而，列举一些robots.txt的具体用法。

允许所有的robot访问，格式如下:

User-agent:.

Disallow:

或者也可以建一个空robots.txt文件。

禁止所有搜索引擎访问网站的任何部分，格式如下:

User-agent:.

Disallow:/

禁止所有搜索引擎访问网站的某几个部分，比如下例中禁止访问01, 02, 03

目录:

User-agent

Disallow:/aa/

Disallow:/bb/

Disallow:/cc/

禁止某个搜索引擎的访问，比如下例中的BadBot:

User-agent:BadBot

Disallow:/

只允许某个搜索引擎的访问，比如下例中的Crawler:

User-agent:Crawler

3、Robots很的很重要吗

一：从搜索引擎角度

当咱们网站上有一些文件不想被搜索引擎蜘蛛抓取时，咱们需求写个robots.txt文件，以此来告诉蜘蛛，这些文件不能被抓取，可是有的公司以为自个网站上没有不想蜘蛛抓取的内容，所以就忽略了robots.txt文件，那么，这样是不对的。

跟着搜索引擎越来越智能化，它拜访一个新网站时，会首要拜访这个网站的robots.txt文件，这也变成搜索引擎蜘蛛拜访网站时的一个习气，这个时分，假如你的网站上没有robots.txt这个文件，反而可能会形成搜索引擎蜘蛛对你的网站页面不能正常的抓取。所以小马主张，即便你的网站内容全都答应搜索引擎蜘蛛抓取，你也应该树立一个robots.txt文件，这代表的是对搜索引擎蜘蛛的友爱。

二：时常查看robots.txt文件

每逢咱们在做网站的保护时，咱们老是围着网站内容和网站外链散步，每逢咱们的网站呈现疑问，咱们首要即是对这些当地进行逐个排查，而对于robots.txt文件，估计除了最初树立网站时写过外，现已好久都没理睬过了，这样是不对的。

当一个黑客攻入咱们的网站，它不需求在咱们的网站上挂上黑链，链上黄赌毒网站，也不需求在咱们的内容页加上指向它网站的隐藏连接，它只需求修正一下咱们小小的robots.txt文件，就可以搞定咱们了，常常看到有些人在搜索引擎上查询自个网站的录入时，发现呈现了反常，所以开端排查，可是外链和内链都没有疑问，这个时分，急的真是焦头烂额。这即是无视了最简略而且最重要的要素----robots.txt文件。

三：写robots.txt文件要全面

robots.txt文件写作时也是需求标准的，否则就好像虚设，比方咱们的网站上有的页面时动态化地址，咱们晓得这些动态化地址搜索引擎蜘蛛不能极好的抓取，所以咱们在robots.txt文件里注明，有些SEOer在注明时会在第二行这样写：Disallow：/*?*，这即是不全面的。

咱们都晓得动态化网址的结尾都是有很多参数的，如?,%等，所以当咱们不期望搜索引擎蜘蛛抓取动态网址的页面时，咱们就要在robots.txt文件里注明自个网站动态化网址呈现的一切参数。否则，搜索引擎蜘蛛仍是能够抓取咱们网站的动态化网址，咱们的robots.txt文件就好像虚设。