怎么使用robots协议？需要注意哪些？

怎么使用robots协议？对于不知道怎么优化网站的人来说，是非常蒙的，知道了所谓的robots协议，但是不会用，下面聚名网小编就带大家看看如何使用robots协议和注意一些robots协议。


robots.txt语法：

1.基本语法：

User-agent 定义协议的搜索引擎。

Disallow 不允许抓取

Allow 允许抓取

* 通配符，代表所有

$ 结束符

2.详情讲解：

User-agent: * 所有的搜索引擎都要遵守

PS：1.英文的首字母一定要大写。下同。2.问号一定是英文状态下的。下同。3.问号之后一定要有一个空格。下同。

User-agent: Baiduspider 针对百度的协议

Disallow: / 屏蔽全站

Disallow: /can/ 屏蔽can文件下的所有文件

Allow: /can/123 屏蔽can文件下的所有文件，但是允许收录123

Disallow: /*.jpg$ 屏蔽所有的图片文件。

PS：使用通配符，一定要有结束符。不然可能导致正常的路径被屏蔽。

注意事项：

1.基础语法中PS的点。

2.生效时间

robots是我们和搜索引擎之间的一个单方面的协议，不是我们今天写上，明天百度就会遵守。想让百度遵守是需要一个过程的，一般情况下是两个月。但是也不排除当天写，当天生效。所以在更改robots的时候，一定要小心小心再小心。一旦你的robots错了，对整个网站的影响是巨大的。

3.不要随便的屏蔽整站

一些新手在做网站的时候，没有规划，随搭随建，网站不能一下子做好，经常做个半截，所以很多新手就会将我们的网站全部屏蔽掉。如果你真的这么做了，那么我要恭喜你，蜘蛛可能在未来的两个月中不来访问你的网站。即便是你去请蜘蛛也不会来。所以这里给新手的建议就是一定要对网站规划好，一次性搭建完成。等待收录。