1、在根目录下建robots.txt文件
1.建立了一个子网站123.com，目录为123，使用根目录路径http://主域名/123可以访问123.com，这么对于搜索不友好，该怎么办？
答：在根目录下新建个robots.txt文件，内容如下：
User-agent: *
Disallow: /123目录/
1.建立了一个子网站123.com，目录为123，使用根目录路径http://主域名/123可以访问123.com，这么对于搜索不友好，该怎么办？
答：在根目录下新建个robots.txt文件，内容如下：
[Copy to clipboard] [ - ]CODE:
User-agent: *
Disallow: /123目录/
如果这样的情况.会不会造成123目录下的网站123.com不被收录呢?
1.建立了一个子网站123.com，目录为123，使用根目录路径http://主域名/123可以访问123.com，这么对于搜索不友好，该怎么办？
答：在根目录下新建个robots.txt文件，不管你根目录有没有网站，搜索是根据域名抓取的，所以这个不担心，只要域名根目录的robots.txt不限制搜索抓取即可。
我的意思是说怕影响子网站123.com的收录
是这样子的.我的主机是A.COM.而我的子目录123(绑定的是123.com)
如果在A.COM/ROBOTS.TXT:
User-agent: *
Disallow: /123/
这样子的话.A.COM里是不会有123这个目录的收录的.
而如果是这样子的话.那么会不会影响123.com的收录情况.
因为SPIDER不索引123的内容了
没有影响，123.com是从123目录下开始读取的，如果也可以通过A.COM/123 读取，那就是双重URL，像百度就会判定你作弊。
如果你的主域名是123.com，绑定根目录 /
你的子域名是blog.123.com ，绑定目录 /blog
你的子域名是rss.123.com ，绑定目录 /rss
在根目录下robots.txt这样写，即禁止抓取 blog与 rss 目录。
User-agent: *
Disallow: /blog/
Disallow: /rss/
复制代码
然而在blog与rss目录下，robots.txt为空就可以，什么都不要写。
为何要这样做呢 ？ 因为这样可以防止搜索出现两个URL地址，即123.com/blog 与 blog.123.com .
2、这么做可以不让蜘蛛爬到
User-agent: *
Disallow: /d/
Disallow: /e/class/
Disallow: /e/config/
Disallow: /e/data/
Disallow: /e/enews/
Disallow: /e/update/
这么做可以不让蜘蛛爬到，但是，同时，也等于你告诉了人家目录，因为可以猜到robots.txt这个地址，不过，只是目录可能无法访问，这比让蜘蛛都爬到要好，那样的话，就可以从搜索中得到单个的文件了。
3、其实完全可以丢弃不使用robots.txt，它容易泄露系统文件的地址。
不妨在首页将这段代码（<meta name="robots" content="index,follow">）放在<head></head>即可，免得蜘蛛总是去爬robots，浪费流量。 从手机浏览器访问《生活宝典》 |
