🚀 go-pugleaf

Christian Laursen <xi@borderworlds.dk> writes:

> On 05/07/12 08:32, Anders Wegge Keller wrote:
> >
> >   Jeg har fået besøg af en crawler fra statistico.dk. Angiveligt er det
> > en crawler der samler information om danske domæner. Det lyder jo
> > vældigt fornuftigt, men den har godt nok ikke en pæn adfærd:
> 
> [SNIP]
> 
> >   Jeg har følgende anker:
> >
> >   1) Kigger ikke efter robots.txt
> >   2) Sløret UA
> >   3) Uregulerede requests
> >   4) )Og det er den værste) aktiv proben efter administrative interfaces.
> >
> >   Har i andre set noget tilsvarende, og i givet fald, har i fundet ud
> > af om det er et joe-job, eller en decideret skummel crawler?
> 
> Der hvor jeg har kigget i access-loggen, har den kun hentet forsiden -
> dog fra et pænt antal forskellige sites. For ganske få requests var
> der tale om den der firefox-agtige UA, men resten var
> statistico.dk-UA'en.

 Jeg har fundet i alt 269 hits fra en god snes forskellige sites. 51
identificerer sig korrekt, mens resten er morphet ud over 28
forskellige UA'er, mestendels variationer over Firefox.

 Serveren står i et datacenter, så jeg tvivler på at det skulle være
en ægte browser. I givet fald er det også en imponerende høj kadance
adresselinieoperatøren holder.

 Og ikke et eneste af de 269 hits var på robots.txt.

-- 
/Wegge

Leder efter redundant peering af dk.*,linux.debian.*