例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
例2. 允许所有的搜索引擎访问
User-agent: *
Allow: /
或者
可以建一个空文件 “robots.txt“里面什么都不要写
例3. 仅禁止百度抓取网站所有文件
User-agent: Baiduspider
Disallow: /
例4. 仅允许百度访问网站
User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
例5. 禁止搜索引擎抓取特定目录
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /joe/
例6. 只允许搜索引擎抓取cgi-bin目录下的see目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Disallow: /cgi-bin/
例7. 禁止抓取/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)
User-agent: *
Disallow: /cgi-bin/*.htm
例8. 仅允许抓取以”.gif”为后缀的URL
User-agent: *
Allow: .gif$
Disallow: /
例9. 禁止抓取网站中所有的动态页面
User-agent: *
Disallow: /*?*
例10. 仅禁止百度抓取.jpg格式图片
User-agent: Baiduspider
Disallow: .jpg$ 从手机浏览器访问《生活宝典》 |
