Article View: dk.admin.netmisbrug
Article #146Re: statistico.dk
From: Christian Laursen
Date: Mon, 07 May 2012 16:30
Date: Mon, 07 May 2012 16:30
24 lines
2099 bytes
2099 bytes
On 05/07/12 08:32, Anders Wegge Keller wrote: > > Jeg har fået besøg af en crawler fra statistico.dk. Angiveligt er det > en crawler der samler information om danske domæner. Det lyder jo > vældigt fornuftigt, men den har godt nok ikke en pæn adfærd: [SNIP] > Jeg har følgende anker: > > 1) Kigger ikke efter robots.txt > 2) Sløret UA > 3) Uregulerede requests > 4) )Og det er den værste) aktiv proben efter administrative interfaces. > > Har i andre set noget tilsvarende, og i givet fald, har i fundet ud > af om det er et joe-job, eller en decideret skummel crawler? Der hvor jeg har kigget i access-loggen, har den kun hentet forsiden - dog fra et pænt antal forskellige sites. For ganske få requests var der tale om den der firefox-agtige UA, men resten var statistico.dk-UA'en. -- Christian Laursen
Technical Details
Message-ID:
<jo8tbe$131p$1@mail.corell.dk>Path:
arc1-ca.pugleaf.net!pr3ni14991pbb.0!nntp.google.com!news2.google.com!goblin1!goblin.stu.neva.ru!newsreader4.netcologne.de!news.netcologne.de!news.tele.dk!feed118.news.tele.dk!news.corell.dk!not-for-mailReferences:
<87lil45wn7.fsf@huddi.jernurt.dk>Show Full Headers
Complete Article Headers
X-Google-Thread: 10b38b,15f4ce3217114965
X-Google-NewGroupId: yes
X-Google-Attributes: gid6c8e56c067,domainid0,public,usenet
X-Google-Language: DANISH,UTF8
Received: by 10.68.223.40 with SMTP id qr8mr13620464pbc.0.1336408238724;
Mon, 07 May 2012 09:30:38 -0700 (PDT)
Path: arc1-ca.pugleaf.net!pr3ni14991pbb.0!nntp.google.com!news2.google.com!goblin1!goblin.stu.neva.ru!newsreader4.netcologne.de!news.netcologne.de!news.tele.dk!feed118.news.tele.dk!news.corell.dk!not-for-mail
From: Christian Laursen <xi@borderworlds.dk>
Newsgroups: dk.admin.netmisbrug
Subject: Re: statistico.dk
Date: Mon, 07 May 2012 18:30:37 +0200
Organization: A personalized InterNetNews site
Lines: 24
Message-ID: <jo8tbe$131p$1@mail.corell.dk>
References: <87lil45wn7.fsf@huddi.jernurt.dk>
NNTP-Posting-Host: talaxian.nrv.borderworlds.dk
Mime-Version: 1.0
X-Trace: mail.corell.dk 1336408238 35897 188.177.140.243 (7 May 2012 16:30:38 GMT)
X-Complaints-To: abuse@corell.dk
NNTP-Posting-Date: Mon, 7 May 2012 16:30:38 +0000 (UTC)
User-Agent: Mozilla/5.0 (X11; FreeBSD amd64; rv:12.0) Gecko/20120504 Thunderbird/12.0.1
In-Reply-To: <87lil45wn7.fsf@huddi.jernurt.dk>
Content-Type: text/plain; charset=UTF-8; format=flowed
Content-Transfer-Encoding: 8bit