首页 > 常识 > 互联网 > 网站制作 > 网站推广

robots.txt文件 用法案例

作者:yiluokuang.com  时间:2015-07-16
描述:允许所有的搜索引擎访问,可以建一个空文件 “robots.txt“里面什么都不要写。

例1. 禁止所有搜索引擎访问网站的任何部分
   User-agent: *

   Disallow: /

例2. 允许所有的搜索引擎访问
   User-agent: *

   Allow: /

   或者

   可以建一个空文件 “robots.txt“里面什么都不要写

例3. 仅禁止百度抓取网站所有文件
   User-agent: Baiduspider

   Disallow: /

例4. 仅允许百度访问网站
   User-agent: Baiduspider

   Allow: /

   User-agent: *

   Disallow: /

例5. 禁止搜索引擎抓取特定目录
   在这个例子中,该网站有三个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。

   User-agent: *

   Disallow: /cgi-bin/

   Disallow: /tmp/

   Disallow: /joe/

例6. 只允许搜索引擎抓取cgi-bin目录下的see目录中的部分url
   User-agent: *

   Allow: /cgi-bin/see

   Disallow: /cgi-bin/

例7. 禁止抓取/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)
   User-agent: *

   Disallow: /cgi-bin/*.htm

例8. 仅允许抓取以”.gif”为后缀的URL
   User-agent: *

   Allow: .gif$

   Disallow: /

例9. 禁止抓取网站中所有的动态页面
   User-agent: *

   Disallow: /*?*

例10. 仅禁止百度抓取.jpg格式图片
   User-agent: Baiduspider

   Disallow: .jpg$

从手机浏览器访问《生活宝典》

站内搜索
  • robots.txt 文件用法示例
  • 搜索引擎公共协议(robots)的作用及范例
  • 搜索引擎(ROBOTS)蜘蛛人的秘密
  • robots.txt 相关问题的解答
  • robots:搜索引擎公共协议
  • 微商帮
    世界网站大全
    中国科研团队:大象的长鼻子是如何越变越长了
    中国科研团队:大象的长
    自己是否能够像自己想的那样做成一件事,身旁人的判断会比自己准确
    自己是否能够像自己想
    火宫殿:吃喝玩乐看,烧香拜神佛,红火的庙会经济
    火宫殿:吃喝玩乐看,烧香
    眼见为实也不为实,更须谨慎看到的并非全貌
    眼见为实也不为实,更须