网站慢,屏蔽Majestic蜘蛛雪无痕seo团队

网站慢,屏蔽Majestic蜘蛛

该蜘蛛据百度查询可能会引起IIS挂掉

要屏蔽暴力蜘蛛訪問有幾種方法,首先先從 robots.txt 做起


【robots.txt】 robots.txt 位於網站的根路徑


以我發現的這幾個蜘蛛為例 YisouSpider、EasouSpider、EtaoSpider、MJ12bot ,在 robots.txt 裡屏蔽這幾個蜘蛛的訪問,寫法如下


User-agent: YisouSpider

Disallow: /

User-agent: EasouSpider

Disallow: /

User-agent: EtaoSpider

Disallow: /

User-agent: MJ12bot

Disallow: /

不過在 robots.txt 裡頭屏蔽蜘蛛訪問並不是 100% 有效,很多蜘蛛並不理會 robots.txt 還是照要來爬取資料,這個時候就要用另一種方式

Majestic-12 是一个基于分布式原理的万维网搜索引擎研究项目。项目的客户端使用一种类似“crawls”(爬行者)的技术监视指定的网站,以便及时的了解哪些站点的内容发生了改变,随后将更新一个存于项目服务器上的主要查寻索引文件。


该项目所使用的客户端名称为 MJ12node (又名:DSearch)。目前已经推出了 Windows 版本和 Linux 版本,版本号为 1.0.5 。使用 Windows 版本的用户必须先安装 微软 .NET 1.1 版。Linux 版本的用户必须先安装 Mono。另外有一款辅助软件 MJ12agent ,可以允许监视局域网内的其他安装有 MJ12node 的计算机上的客户端运行情况。


2015-08-09 00:05:07 W3SVC5825727 210.209.75.76 GET /robots.txt - 80 - 46.4.87.105 Mozilla/5.0+(compatible;+MJ12bot/v1.4.5;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 411

2015-08-09 00:05:10 W3SVC5825727 210.209.75.76 GET /index.php show--cid-2-id-180.html 80 - 218.201.105.77 Mozilla/5.0+(Windows+NT+6.1;+WOW64)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/42.0.2311.152+Safari/537.36 200 0 64 0

2015-08-09 00:05:10 W3SVC5825727 210.209.75.76 GET /index.php show--cid-2-id-104.html 80 - 218.201.105.77 Mozilla/5.0+(Windows+NT+6.1;+WOW64)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/42.0.2311.152+Safari/537.36 200 0 0 12728

2015-08-09 00:05:16 W3SVC5825727 210.209.75.76 GET /index.php cate--cid-1.html 80 - 46.4.87.105 Mozilla/5.0+(compatible;+MJ12bot/v1.4.5;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 21823

2015-08-09 00:05:18 W3SVC5825727 210.209.75.76 GET /robots.txt - 80 - 46.4.87.105 Mozilla/5.0+(compatible;+MJ12bot/v1.4.5;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 415

2015-08-09 00:05:23 W3SVC5825727 210.209.75.76 GET /index.php show--cid-1-id-153.html 80 - 218.201.105.77 Mozilla/5.0+(Windows+NT+6.1;+WOW64)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/42.0.2311.152+Safari/537.36 200 0 0 5090

2015-08-09 00:05:23 W3SVC5825727 210.209.75.76 GET /index.php u=views--cid-1-id-153&_=1439078723087 80 - 218.201.105.77 Mozilla/5.0+(Windows+NT+6.1;+WOW64)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/42.0.2311.152+Safari/537.36 200 0 0 322

2015-08-09 00:05:24 W3SVC5825727 210.209.75.76 GET /index.php u=views--cid-2-id-104&_=1439078710165 80 - 218.201.105.77 Mozilla/5.0+(Windows+NT+6.1;+WOW64)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/42.0.2311.152+Safari/537.36 200 0 121 0

2015-08-09 00:05:27 W3SVC5825727 210.209.75.76 GET /index.php cate--cid-1.html 80 - 46.4.87.105 Mozilla/5.0+(compatible;+MJ12bot/v1.4.5;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 21745

2015-08-09 00:05:29 W3SVC5825727 210.209.75.76 GET / imgdir=nanhai 80 - 182.118.26.218 Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0);+360Spider 200 0 0 7320

2015-08-09 00:05:29 W3SVC5825727 210.209.75.76 GET /index.php imgdir=nanhai 80 - 182.118.26.218 Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0);+360Spider 200 0 0 7245

2015-08-09 00:05:31 W3SVC5825727 210.209.75.76 POST /admin00000/index.php u=setting-index-ajax-1 80 - 218.201.105.77 Mozilla/5.0+(Windows+NT+6.1;+WOW64)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/42.0.2311.152+Safari/537.36 200 0 0 342

2015-08-09 00:05:34 W3SVC5825727 210.209.75.76 GET /index.php show--cid-2-id-36.html 80 - 46.4.87.105 Mozilla/5.0+(compatible;+MJ12bot/v1.4.5;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 5727

2015-08-09 00:05:44 W3SVC5825727 210.209.75.76 GET /index.php show--cid-2-id-36.html 80 - 46.4.87.105 Mozilla/5.0+(compatible;+MJ12bot/v1.4.5;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 5644

2015-08-09 00:05:45 W3SVC5825727 210.209.75.76 GET /index.php tag--mid-2-name-302%E8%B7%B3%E8%BD%AC%E5%92%8C301%E7%9A%84.html 80 - 119.188.66.188 Mozilla/5.0+(compatible;+MSIE+9.0;+Windows+NT+6.1;+Trident/5.0) 200 0 0 2122

2015-08-09 00:05:52 W3SVC5825727 210.209.75.76 GET /index.php show--cid-2-id-43.html 80 - 46.4.87.105 Mozilla/5.0+(compatible;+MJ12bot/v1.4.5;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 4730

2015-08-09 00:06:00 W3SVC5825727 210.209.75.76 GET /index.php show--cid-2-id-43.html 80 - 46.4.87.105 Mozilla/5.0+(compatible;+MJ12bot/v1.4.5;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 4646

2015-08-09 00:06:08 W3SVC5825727 210.209.75.76 GET /index.php show--cid-2-id-44.html 80 - 46.4.87.105 Mozilla/5.0+(compatible;+MJ12bot/v1.4.5;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 5039

2015-08-09 00:06:16 W3SVC5825727 210.209.75.76 GET /index.php show--cid-2-id-44.html 80 - 46.4.87.105 Mozilla/5.0+(compatible;+MJ12bot/v1.4.5;+http://www.majestic12.co.uk/bot.php?+) 200 0 0 4954

2015-08-09 00:06:55 W3SVC5825727 210.209.75.76 POST /images/swfupload/images/uploadye.php - 80 - 104.243.129.82 - 404 0 0 2628


另外还有一些垃圾蜘蛛:


2015-08-09 00:10:02 W3SVC5825727 210.209.75.76 GET / cate--cid-6.html 80 - 185.53.44.181 Mozilla/5.0+(compatible;+XoviBot/2.0;++http://www.xovibot.net/) 200 0 0 9980

2015-08-09 00:11:33 W3SVC5825727 210.209.75.76 POST /bftvp15111.asp;.jpg - 80 - 113.57.187.91 - 404 0 0 2628



本文主题:网站慢,屏蔽Majestic蜘蛛
本文地址:http://www.52qingdao.com/seo_youhua/196.html
雪无痕seo团队:山东seo/山东网站优化/山东百度优化/青岛seo/青岛网站优化/青岛百度优化/山东青岛google优化排名公司
服务项目:解决各种seo网站优化排名推广、网站建设疑难问题,提供【网站优化】【seo优化】【seo工具】【seo技术】【seo排名】【seo教程】【关键词优化】【整站优化】【百度优化】【网络营销】【seo服务】【seo培训】【seo外包】【seo顾问】等【网站seo优化】及【seo查询】咨询QQ号:9710917

温馨提示:本站部分文字及图片均来自于网络,部分内容及图片不代表本站观点如侵犯到您的权益,请及时通知我们!文章来自网络整理,提倡seo技术共享!欢迎转载!转载请保留出处和链接!

SEO

上一篇
下一篇