对于robots,许多站长相信都不陌生,用起他来也挺方便的,对新手来说就需要了解下关于robots相关方面的知识。在这里综合一下,供大家阅读。
三家都支持的robots文件记录包括:
Disallow - 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件:
User-agent: *
Disallow: /
Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用,可以告诉蜘蛛某个目录下,大部分都不抓取,只抓取一部分。如下面代码将使蜘蛛不抓取123目录下其他文件,而只抓取其中site下的文件:
...