robots.txt是一个对于网站来说很重要的文件，可以告诉搜索引擎哪些页面可以收录，哪些不允许收录。 一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow。User-agent: *后面加星号说明允许所有搜索引擎收录;有几个禁止，就得有几个Disallow函数，每行一个进行描述;至少要有一个Disallow函数，如果都允许收录，则写: Disallow: 如果都不允许收录，则写:Disallow: /(注：两者只相差一个斜杆)。例如:User-agent: *
Disallow: /admin/
Disallow: /data/
Disallow: /inc/
Disallow: /inc.asp
Disallow: /setup.asp
Sitemap:[url]http://www.365moon.com/sitemap.xml[/url] 其中:
1、robots.txt一定要是小写要不就没用作用
2、如果你的站点允许对所有搜索引擎公开，则不做这个文件或者robots.txt为空就行。
3、写在最后的sitemap.xml，是robots.txt最大的一个作用：百度不像Google网站管理工具可以提交googel sitemaps，你可以把自己网站地图的地址放在robots.txt的任意位置，那就是间接向百度提交了你的网站地图. 文章来源:[url]http://www.365moon.com/Article/?76.html[/url]
