Article View: dk.edb.internet.webdesign.serverside
Article #223Re: Afvisning af baidu
From: Rune Jensen
Date: Thu, 24 Nov 2011 16:35
Date: Thu, 24 Nov 2011 16:35
27 lines
2256 bytes
2256 bytes
On 18 Nov., 03:09, "Leif Neland" <l...@neland.dk> wrote: > En flok baiduspiders fra forskellige kinesiske ip-adresser har hærget mit > website med requests med en uforskammet hastighed. Hvad er hastigheden? Normalt hærger disse botter med 2-4 requests i sekundet. Men så slem synes jeg nu ikke Baidu har været. > De respekterer ikke robots.txt. så nu har jeg lavet således, at hvis > useragent er baiduspider, får de en 301 redirct til en side om Liu Xiaobo, > den kinesiske nobelprismodtager, som regimet i Kina forsøger at > hemmeligholde. Det er kreativt :) Hvad siger iøvrigt acceptencoding og acceptlanguage? Og IP? Har du taget IPerne på projecthoneypot,org? Kunne du måske give lidt uddrag af loggen, det pirrer min nysgerrighed. MVH Rune Jensen
Technical Details
Message-ID:
<69576c26-ee03-4605-ae68-95defd200666@l24g2000yqm.googlegroups.com>Path:
arc1-ca.pugleaf.net!lh20ni13374pbb.0!nntp.google.com!news2.google.com!postnews.google.com!l24g2000yqm.googlegroups.com!not-for-mailReferences:
<4ec63cfe$0$283$14726298@news.sunsite.dk>Show Full Headers
Complete Article Headers
X-Google-Thread: fe0cc,d20573733417e0b7
X-Google-NewGroupId: yes
X-Google-Attributes: gid855c6d7664,domainid0,public,usenet
X-Google-Language: DANISH,ASCII
Received: by 10.68.15.41 with SMTP id u9mr8610443pbc.3.1322153160143;
Thu, 24 Nov 2011 08:46:00 -0800 (PST)
Path: arc1-ca.pugleaf.net!lh20ni13374pbb.0!nntp.google.com!news2.google.com!postnews.google.com!l24g2000yqm.googlegroups.com!not-for-mail
From: Rune Jensen <runeofdenmark@gmail.com>
Newsgroups: dk.edb.internet.webdesign.serverside
Subject: Re: Afvisning af baidu
Date: Thu, 24 Nov 2011 08:35:36 -0800 (PST)
Organization: http://groups.google.com
Lines: 27
Message-ID: <69576c26-ee03-4605-ae68-95defd200666@l24g2000yqm.googlegroups.com>
References: <4ec63cfe$0$283$14726298@news.sunsite.dk>
NNTP-Posting-Host: 77.66.105.10
Mime-Version: 1.0
X-Trace: posting.google.com 1322153160 9238 127.0.0.1 (24 Nov 2011 16:46:00 GMT)
X-Complaints-To: groups-abuse@google.com
NNTP-Posting-Date: Thu, 24 Nov 2011 16:46:00 +0000 (UTC)
Complaints-To: groups-abuse@google.com
Injection-Info: l24g2000yqm.googlegroups.com; posting-host=77.66.105.10; posting-account=hBnCywoAAABVIS-hqBv_HnBn0WGeUZFQ
User-Agent: G2/1.0
X-Google-Web-Client: true
X-Google-Header-Order: ARLUEHNKC
X-HTTP-UserAgent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1;
Trident/4.0; .NET CLR 1.1.4322),gzip(gfe)
Content-Type: text/plain; charset=ISO-8859-1
Content-Transfer-Encoding: quoted-printable