robots.txt是所有搜索引擎通用的规则,通过robots可以禁止搜索引擎抓取不重要的或者不想被收录的内容,从而把权重留给网站的主要页面。

1. 禁止收录全部动态页面:

User-agent: *
Disallow: /*?*

2. 禁止收录php页面:

User-agent: *
Disallow: /*.php

3. 禁止收录网站根目录下某个目录:

User-agent: *

Disallow: /mulu/

4. 禁止收录网站根目录下某个目录内的 “.php”链接(包含子目录):

User-agent: *

Disallow: /mulu/*.php

5. 禁止收录某些文件格式(如jpg):

User-agent: *
Disallow: .jpg$

robots.tx文件要放到网站根目录下才生效。百度站长后台可以检测robots文件是否有语法错误,记得使用这个功能。