老石之志

在为网站启用二级域名如果是以子目录的方式时请务必在Robots.txt里设置对搜索引擎抓取的限制.

本博客老石之志就是在主域名的基础上启用的二级域名.而且二级域名是跟主站根目录下的子目录”blog”文件夹绑定的.这样一来,就会产生搜索引擎重复收录的问题,因为存在这个相同的内容形如: http://blog.taoxian.info/  和http://www.taoxian.info/blog/ 是完全一样的内容.当然,我们都不希望搜索引擎会在两个地方看到一模一样的东西,其实,搜索引擎是最讨厌重复内容的.所以,一定要想办法搞定这个问题.

其实很简单,只要在你的网站根目录下的Robots.txt文件里简单的增添一条内容就可以了.具体操作如下:

打开根目录下的Robots.txt文件.按照你的实际情况来进行设置.

如上所述,我的二级域名是绑定的根目录下的”blog”文件夹.则,需要进行如下设置

User-agent: *

Disallow: /blog/

如果你为网站启用了多个二级域名,则相应的设置多个二级目录的禁止抓取就可以了.

老石 SEO, 网站优化, 老石心得