免费资源-网络餐厅

在BO-blog里面，一篇日志可以有5种URL写法，还有TAGS页面，分类页面，都有几种URL样式，并且这几种样式都能正确的访问，如果这些重复的页面因为某些原因被搜索引擎收录的话，有可能会被搜索引擎认为是在作弊，降低网站的权重。所以，必须限制一下搜索引擎的收录内容，这通过修改robots.txt文件来实现

我的boblog选择的是基于PHP的URL优化，那么我的URL的为www.8x8y.com/read.php/220.htm和www.8x8y.com/free/mianfei.php，这样我们得防止www.8x8y.com/read.php?220这种URL样式的出现，因此得在robots.txt后面加上这一句：Disallow: /read.php?*   意思是不收录URL中带有read.php?的页面这样的话，就不会担心像www.8x8y.com/read.php?220这种不会被使用的URL被收录

再就是分类页面。为了SEO，一般都给分类设置别名，URL样式为：http://www.8x8y.com/go.php/category/free-resources/，但是还有另一个URL地址可以访问，那就是http://www.8x8y.com/go.php/go.php/category/8/，这样的话，必须屏蔽这个地址，还是要用到robots.txt，在里面加入这一项Disallow: /go.php/category/8/，有多少个分类就写多少个

最后就是如果没跟图片设置防盗链的话，最好是去掉Disallow: /attachment/这一项，让搜索引擎能收录你的图片

看下我的robots.txt内容就行：http://www.8x8y.com/robots.txt

作者：Hhumor@免费资源-网络餐厅
地址：http://www.8x8y.com/free/boblogrobots.php
版权所有。转载时必须以链接形式注明作者和原始出处及本声明！

收藏本文到网摘：