Thread View: dk.edb.internet.webdesign.serverside
5 messages
5 total messages
Started by Leif Neland
Fri, 18 Nov 2011 11:09
Afvisning af baidu
Author: Leif Neland
Date: Fri, 18 Nov 2011 11:09
Date: Fri, 18 Nov 2011 11:09
11 lines
1562 bytes
1562 bytes
En flok baiduspiders fra forskellige kinesiske ip-adresser har h�rget mit website med requests med en uforskammet hastighed. De respekterer ikke robots.txt. s� nu har jeg lavet s�ledes, at hvis useragent er baiduspider, f�r de en 301 redirct til en side om Liu Xiaobo, den kinesiske nobelprismodtager, som regimet i Kina fors�ger at hemmeligholde. S� mon ikke min side bliver fredet fra den s�gemaskine nu? :-) Leif
Re: Afvisning af baidu
Author: Erik Ginnerskov
Date: Sun, 20 Nov 2011 21:16
Date: Sun, 20 Nov 2011 21:16
23 lines
1907 bytes
1907 bytes
Leif Neland wrote: > De respekterer ikke robots.txt. Fr�kke slamberter. > s� nu har jeg lavet s�ledes, at hvis > useragent er baiduspider, f�r de en 301 redirct Man m� forsvare sig. > til en side om Liu > Xiaobo, den kinesiske nobelprismodtager, som regimet i Kina fors�ger > at hemmeligholde. Men hvad har den stakkels Liu Xiaobo gjort dig, siden han skal generes p� den m�de. Hvorfor sender du ikke banditterne til det kinesiske kommunistpartis politbureaus hjemmeside? -- Med venlig hilsen Erik Ginnerskov http://hjemmesideskolen.dk - http://ginnerskov.dk
Re: Afvisning af baidu
Author: Leif Neland
Date: Sun, 20 Nov 2011 21:37
Date: Sun, 20 Nov 2011 21:37
28 lines
2335 bytes
2335 bytes
Den 20-11-2011 22:16, Erik Ginnerskov skrev: > Leif Neland wrote: > >> De respekterer ikke robots.txt. > > Fr�kke slamberter. > >> s� nu har jeg lavet s�ledes, at hvis >> useragent er baiduspider, f�r de en 301 redirct > > Man m� forsvare sig. > >> til en side om Liu >> Xiaobo, den kinesiske nobelprismodtager, som regimet i Kina fors�ger >> at hemmeligholde. > > Men hvad har den stakkels Liu Xiaobo gjort dig, siden han skal generes > p� den m�de. Hvorfor sender du ikke banditterne til det kinesiske > kommunistpartis politbureaus hjemmeside? > Regimet i Kina vil skjule hans eksistens, s� jeg giver kineserne flere muligheder for at blive opm�rksom p� ham. Det er jo ikke Liu's egen hjemmeside; en s�dan ville v�re fjernet af censuren forl�ngst. Siden er p� mig eget dom�ne, p� en anden server. Leif
Re: Afvisning af baidu
Author: Rune Jensen
Date: Thu, 24 Nov 2011 16:35
Date: Thu, 24 Nov 2011 16:35
27 lines
2256 bytes
2256 bytes
On 18 Nov., 03:09, "Leif Neland" <l...@neland.dk> wrote: > En flok baiduspiders fra forskellige kinesiske ip-adresser har hærget mit > website med requests med en uforskammet hastighed. Hvad er hastigheden? Normalt hærger disse botter med 2-4 requests i sekundet. Men så slem synes jeg nu ikke Baidu har været. > De respekterer ikke robots.txt. så nu har jeg lavet således, at hvis > useragent er baiduspider, får de en 301 redirct til en side om Liu Xiaobo, > den kinesiske nobelprismodtager, som regimet i Kina forsøger at > hemmeligholde. Det er kreativt :) Hvad siger iøvrigt acceptencoding og acceptlanguage? Og IP? Har du taget IPerne på projecthoneypot,org? Kunne du måske give lidt uddrag af loggen, det pirrer min nysgerrighed. MVH Rune Jensen
Re: Afvisning af baidu
Author: Rune Jensen
Date: Thu, 24 Nov 2011 16:50
Date: Thu, 24 Nov 2011 16:50
12 lines
1777 bytes
1777 bytes
On 18 Nov., 03:09, "Leif Neland" <l...@neland.dk> wrote: > En flok baiduspiders fra forskellige kinesiske ip-adresser har hærget mit > website med requests med en uforskammet hastighed. Her er fra webmasterworld en diskussion om Baidu: http://www.webmasterworld.com/search_engine_spiders/4348357.htm MVH Rune Jensen
Thread Navigation
This is a paginated view of messages in the thread with full content displayed inline.
Messages are displayed in chronological order, with the original post highlighted in green.
Use pagination controls to navigate through all messages in large threads.
Back to All Threads