robot是搜索引擎在爬取整个网站的时候第一个访问的文件，当蜘蛛在抓取网站时，会先看网站是否有robot文件，如果该站点存在robot，那么蜘蛛会根据robot的书写来访问网站的内容，如果没有robot，那么蜘蛛将会访问网站上所有的页面，那么robot如何来进行书写呢？下面介绍几个常用的robot书写方法

允许搜索引擎抓取所有网站robot为空
禁止所有搜索引擎抓取：
User-agent: *
Disallow: /
禁止百度蜘蛛抓取：
User-agent: baiduspider
Disallow: /
允许百度抓取，禁止谷歌抓取：
User-agent: *
Allow: /
User-agent: baiduspider
Allow: /
User-agent: Googlebot
Disallow: /