对于robots，许多站长相信都不陌生，用起他来也挺方便的，对新手来说就需要了解下关于robots相关方面的知识。在这里综合一下，供大家阅读。
三家都支持的robots文件记录包括：
Disallow - 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件：
User-agent: *
Disallow: /
Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取123目录下其他文件，而只抓取其中site下的文件：
...
