关进404页面robots禁止蜘蛛爬取的问题?

发布者:冀州云商网络 来源:http://www.baisoubao.cn/ 发布时间:2012-8-29 19:49:11 浏览量:

冀州因为**近蜘蛛爬取我的站很奇怪,在 /uploads/allimg/爬取总是一堆404.html

如:/ uploads/ allimg/ 120818/ 404.html

类似上面这种的,爬取很多,我的404也做过了,但是这个目录下就是不转到我设置好的404页面

然后我考虑想把 /uploads/allimg/禁止蜘蛛爬取,请问对整站会有什么影响吗?网站程序是DEDE

打酱油的求你别来了,总是回答一句莫名其妙的这是什么,乱七八糟的,让人很烦
答:
这个目录是用来存放图片的么?如果是的话就屏蔽了吧,考虑一下这个目录下面的东西给你带来了实际流量没有,如果没有就屏蔽了吧。
1本身你的这个目录下面很多页面不存在对吧。

或者是你该目录下面存在很多名称为404页面的正常页面。

如果该类型文件很多不要记着屏蔽。如果该页面是无关紧要页面。可以屏蔽掉。
 
相关新闻:安平关进404页面robots禁止蜘蛛爬取的问题?
冀州区关进404页面robots禁止蜘蛛爬取的问题?
深州关进404页面robots禁止蜘蛛爬取的问题?
枣强关进404页面robots禁止蜘蛛爬取的问题?
武邑关进404页面robots禁止蜘蛛爬取的问题?
武强关进404页面robots禁止蜘蛛爬取的问题?
饶阳关进404页面robots禁止蜘蛛爬取的问题?
景县关进404页面robots禁止蜘蛛爬取的问题?
故城关进404页面robots禁止蜘蛛爬取的问题?
阜城关进404页面robots禁止蜘蛛爬取的问题?
我们可为您提供如下冀州网络服务: 冀州营销型网站建设 冀州百度爱采购 冀州阿里淘宝装修 冀州支付接口对接 冀州程序开发 冀州网站维护

(转载请注明转自:http:jizhou.baisoubao.cn 冀州网站建设 谢谢!)
上一篇:冀州seo关键词价格评估,seo价格查询,seo关键词价格如何定价,关键词优化如何定价及定价方式
下一篇:冀州robots.txt文件用法举例