🚀 go-pugleaf

RetroBBS NetNews Server

Inspired by RockSolid Light RIP Retro Guy

Article View: nl.comp.os.linux.netwerken
Article #13

Re: sneller ftp van 30.000 docs

#13
From: John Bokma
Date: Tue, 21 Sep 2010 20:11
47 lines
2984 bytes
Rikishi42 <skunkworks@rikishi42.net> writes:

> On 2010-09-20, John Bokma <john@castleamber.com> wrote:
>> Rikishi42 <skunkworks@rikishi42.net> writes:
>>
>>> On 2010-09-19, John Bokma <john@castleamber.com> wrote:
>>>> user <no@thanks.be> writes:
>>>>
>>>>> ipv weex, en per doc uploaden heb ik al eens gelezen 
>>>>> van zoiets als een tar.gz uploaden, dan een cmd en de 
>>>>> server plooit alles netjes open.
>>>>>
>>>>> Hoe zou het gaan??
>>>>
>>>> kan je de server op met ssh?
>>>
>>> Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
>>> gebruiken.
>>
>> Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
>> sneller gaat door een tarball over te zenden en uit te pakken,
>> on-the-fly, dan met rsync.
>
> A priori zou dat inderdaad beter gaan, maar ik denk neit dat hij daar zoveel
> van zou merken. Natuurlijk, als het gaat om een regelmatig te herhalen werk,
> zou ik wel tijd steken ik optimiseren.
>
> De tarball is allemaal goed en wel, maar die maken zal ook tijd innemen.
> Misschien dat de compressie niet zo groot is, dan zou hij er niet eens aan
> winnen.
>
> En dan nog iets: is het voor de admin van die server OK dat er zo'n gebruik
> gemaakt wordt van zijn machine? De cpu wordt wel aan het werk gezet, met
> 30.000 files. En is er voldoende volume om bij die verzameling docs, nog
> eens een grote tar toe te voegen?

Die tarball stream je naar de andere kant, waar die on-the-fly weer
uitgepakt wordt ;-). 

Zie: http://www.koopman.me/2008/11/tar-pipe-ssh/
 en: http://linux.icydog.net/ssh/piping.php

-- 
John Bokma                                                               j3b

Blog: http://johnbokma.com/    Facebook: http://www.facebook.com/j.j.j.bokma
    Freelance Perl & Python Development: http://castleamber.com/
Technical Details
Message-ID: <87hbhiluvo.fsf@castleamber.com>
Path: arc1-ca.pugleaf.net!g2news1.google.com!news1.google.com!news2.google.com!news.glorb.com!fu-berlin.de!uni-berlin.de!individual.net!not-for-mail
References: <i75n6t$uen$1@news.eternal-september.org> <87y6ax1pms.fsf@castleamber.com> <3reim7-6cf.ln1@murmur.very.softly> <87zkvd17lh.fsf@castleamber.com> <58fnm7-22i.ln1@murmur.very.softly>

Show Full Headers
Complete Article Headers
X-Google-Thread: 102510,58d22069240f4f85
X-Google-NewGroupId: yes
X-Google-Thread: 100a19,58d22069240f4f85
X-Google-NewGroupId: yes
X-Google-Attributes: gid3191bc60b3,gid7593d9e372,domainid0,public,usenet
X-Google-Language: DUTCH,ASCII-7-bit
Path: arc1-ca.pugleaf.net!g2news1.google.com!news1.google.com!news2.google.com!news.glorb.com!fu-berlin.de!uni-berlin.de!individual.net!not-for-mail
From: John Bokma <john@castleamber.com>
Newsgroups: nl.comp.os.linux.netwerken,be.comp.os.linux
Subject: Re: sneller ftp van 30.000 docs
Date: Tue, 21 Sep 2010 15:11:23 -0500
Organization: Castle Amber
Lines: 47
Message-ID: <87hbhiluvo.fsf@castleamber.com>
References: <i75n6t$uen$1@news.eternal-september.org>
 <87y6ax1pms.fsf@castleamber.com> <3reim7-6cf.ln1@murmur.very.softly>
 <87zkvd17lh.fsf@castleamber.com> <58fnm7-22i.ln1@murmur.very.softly>
Mime-Version: 1.0
Content-Type: text/plain; charset=us-ascii
X-Trace: individual.net 1mPRsZpRhAtIx+UZp1giQgBoM5E6BefJ7uArIt+eKawZB80eJr
Cancel-Lock: sha1:e+jIeTQrq7Y9IowlhInfys8HVes= sha1:qB6pWvTtCBxhzRPzgZjjyWjtaOk=
X-Url: http://johnbokma.com/
User-Agent: Gnus/5.13 (Gnus v5.13) Emacs/23.1.50 (gnu/linux)