robots.txt是每个网站必不可少的配置文件,可以用于禁止某些链接、文件或者模板被搜索引擎索引。但很多小伙伴也发现,仿佛搜索引擎并没有遵守,已经被robots.txt禁止的内容还是被收录了,这是怎么回事呢?

1. robots.txt书写有误

建议更新过robots文件后,在百度站长后台检查下,语法错误一般比较细微,肉眼难以发现,交给工具去做。

2. robots.txt还未生效

robots.txt放到网站里面后,并不是即时生效的,无论是百度还是其他搜索引擎都要有一个缓冲过程,一般是三四天左右。

3. robots.txt禁止前搜索引擎已经建立了索引

虽然没有放出收录,但我们并不能确定搜索引擎是否已经在内部建立了索引,很可能在robotx.txt生效期,已经建立索引的内容刚好放出了收录。

但不用担心,这些被收录的链接会逐渐被取消,需要站长耐心等待,可能需要1个月的时间。