robots.txt文件用以告诉搜索引擎哪些内容可以抓取和哪些内容不可以抓取,一般做seo时都需要处理robots问题,尤其是对于链接结构杂乱的网站。

robots文件上传到网站根目录后,一般需要用工具去检测,因为单纯用肉眼是比较难发现代码中的问题的。SEOer千万不要自负,写好就直接不看,出了问题再打脸就晚了。

以百度为例,百度robots文件检测工具地址为:https://ziyuan.baidu.com/robots/index

使用方法:选择要检测robots文件的站点,点击检测并更新即可

注意事项:

1. robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。

2. 您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。

3. Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

robots检测

另外,百度robots文件检测工具还可以校验链接是否被robots阻止抓取。

在下面的文本框输入链接地址并点击校验,如果是被禁止抓取的链接会显示“已禁止”,如果是允许抓取的页面则显示“已允许”。