如何屏蔽二级域名网站

用robots禁止搜索引擎收录某个二级域名是行不通的，我们并没有在官方看到可靠的依据。但这往往是我们很多人易犯的一个误区。 在对robots的定义中就明确指出，当我们不希望搜索引擎收录网站的部分，请建立robots文件（Disallow:/aaa/）。 在我们遇到的问题中，最多的是当我们购买了一个虚拟主机，空间自带了一个二级域名地址，而这个地址在搜索引擎上已经收录，我们想禁止掉它的继续收录。最直接的办法就是站内开放的链接上要统一url规范，不要给不想收录的二级域名任何的入口，然后持续的更新一些信息，搜索引擎会逐渐自然把二级域名剔除。 当然我们有条件也可以在代码中写，判定访问的是二级域名的时候跳转到应用的主域名上；我们也可以直接把二级域名做301重定向到主域名上，在此搜想SEO专家提醒您，如果是搜索引擎已经将二级域名识别为主域名持续收录，做此之前一定要把站内所有的链接地址改为主域名，不要再有任何二级域名入口，如果信息收录过多，我们并不建议大家采用此方式。 当然，还有一招，直接去百度提交删除申请，邮箱为：webmaster@baiducom 如果对于二级域名与主域名不是同一目录的情况，这就非常简单，我们都知道的“直接在robots里书写禁止二级域名对应的目录”即可！ 禁止某个二级域名的搜索引擎收录针对不同的情况，当然还有其它一些方法，举一反三、活学活用。对于二级域名与主域名为同一目录的情况下，搜想SEO专家一定要提醒大家的是，我们切不可为了屏蔽二级域名，直接在二级域名的指向的目录里书写了robots禁止收录文件。我们很多人却会犯这样的“傻”。

以下列举了屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。注意：是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫（蜘蛛）。
1、通过 robotstxt 文件屏蔽
可以说 robotstxt 文件是最重要的一种渠道（能和搜索引擎建立直接对话），给出以下建议：
User-agent: Baiduspider
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Googlebot-Mobile
Disallow: /
User-agent: Googlebot-Image
Disallow:/
User-agent: Mediapartners-Google
Disallow: /
User-agent: Adsbot-Google
Disallow: /
User-agent:Feedfetcher-Google
Disallow: /
User-agent: Yahoo! Slurp
Disallow: /
User-agent: Yahoo! Slurp China
Disallow: /
User-agent: Yahoo!-AdCrawler
Disallow: /
User-agent: YoudaoBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: Sogou spider
Disallow: /
User-agent: Sogou web spider
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: Tomato Bot
Disallow: /
User-agent:
Disallow: /
2、通过 meta tag 屏蔽
在所有的网页头部文件添加，添加如下语句：
<meta name="robots" content="noindex, nofollow">
3、通过服务器（如：Linux/nginx ）配置文件设置
直接过滤 spider/robots 的IP 段。

robotstxt一般是控制你自己的网站内部链接
你可以不你站内的淘宝地址“nofollow”掉：<a href="淘宝链接" rel="nofollow">什么什么什么</a>
或者此页面所以链接都不抓取：<meta name="robots" content="nofollow">

---