Article View: nl.comp.os.linux.netwerken
Article #13Re: sneller ftp van 30.000 docs
From: John Bokma
Date: Tue, 21 Sep 2010 20:11
Date: Tue, 21 Sep 2010 20:11
47 lines
2984 bytes
2984 bytes
Rikishi42 <skunkworks@rikishi42.net> writes:
> On 2010-09-20, John Bokma <john@castleamber.com> wrote:
>> Rikishi42 <skunkworks@rikishi42.net> writes:
>>
>>> On 2010-09-19, John Bokma <john@castleamber.com> wrote:
>>>> user <no@thanks.be> writes:
>>>>
>>>>> ipv weex, en per doc uploaden heb ik al eens gelezen
>>>>> van zoiets als een tar.gz uploaden, dan een cmd en de
>>>>> server plooit alles netjes open.
>>>>>
>>>>> Hoe zou het gaan??
>>>>
>>>> kan je de server op met ssh?
>>>
>>> Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
>>> gebruiken.
>>
>> Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
>> sneller gaat door een tarball over te zenden en uit te pakken,
>> on-the-fly, dan met rsync.
>
> A priori zou dat inderdaad beter gaan, maar ik denk neit dat hij daar zoveel
> van zou merken. Natuurlijk, als het gaat om een regelmatig te herhalen werk,
> zou ik wel tijd steken ik optimiseren.
>
> De tarball is allemaal goed en wel, maar die maken zal ook tijd innemen.
> Misschien dat de compressie niet zo groot is, dan zou hij er niet eens aan
> winnen.
>
> En dan nog iets: is het voor de admin van die server OK dat er zo'n gebruik
> gemaakt wordt van zijn machine? De cpu wordt wel aan het werk gezet, met
> 30.000 files. En is er voldoende volume om bij die verzameling docs, nog
> eens een grote tar toe te voegen?
Die tarball stream je naar de andere kant, waar die on-the-fly weer
uitgepakt wordt ;-).
Zie: http://www.koopman.me/2008/11/tar-pipe-ssh/
en: http://linux.icydog.net/ssh/piping.php
--
John Bokma j3b
Blog: http://johnbokma.com/ Facebook: http://www.facebook.com/j.j.j.bokma
Freelance Perl & Python Development: http://castleamber.com/
Technical Details
Message-ID:
<87hbhiluvo.fsf@castleamber.com>Path:
arc1-ca.pugleaf.net!g2news1.google.com!news1.google.com!news2.google.com!news.glorb.com!fu-berlin.de!uni-berlin.de!individual.net!not-for-mailReferences:
<i75n6t$uen$1@news.eternal-september.org> <87y6ax1pms.fsf@castleamber.com> <3reim7-6cf.ln1@murmur.very.softly> <87zkvd17lh.fsf@castleamber.com> <58fnm7-22i.ln1@murmur.very.softly>Show Full Headers
Complete Article Headers
X-Google-Thread: 102510,58d22069240f4f85 X-Google-NewGroupId: yes X-Google-Thread: 100a19,58d22069240f4f85 X-Google-NewGroupId: yes X-Google-Attributes: gid3191bc60b3,gid7593d9e372,domainid0,public,usenet X-Google-Language: DUTCH,ASCII-7-bit Path: arc1-ca.pugleaf.net!g2news1.google.com!news1.google.com!news2.google.com!news.glorb.com!fu-berlin.de!uni-berlin.de!individual.net!not-for-mail From: John Bokma <john@castleamber.com> Newsgroups: nl.comp.os.linux.netwerken,be.comp.os.linux Subject: Re: sneller ftp van 30.000 docs Date: Tue, 21 Sep 2010 15:11:23 -0500 Organization: Castle Amber Lines: 47 Message-ID: <87hbhiluvo.fsf@castleamber.com> References: <i75n6t$uen$1@news.eternal-september.org> <87y6ax1pms.fsf@castleamber.com> <3reim7-6cf.ln1@murmur.very.softly> <87zkvd17lh.fsf@castleamber.com> <58fnm7-22i.ln1@murmur.very.softly> Mime-Version: 1.0 Content-Type: text/plain; charset=us-ascii X-Trace: individual.net 1mPRsZpRhAtIx+UZp1giQgBoM5E6BefJ7uArIt+eKawZB80eJr Cancel-Lock: sha1:e+jIeTQrq7Y9IowlhInfys8HVes= sha1:qB6pWvTtCBxhzRPzgZjjyWjtaOk= X-Url: http://johnbokma.com/ User-Agent: Gnus/5.13 (Gnus v5.13) Emacs/23.1.50 (gnu/linux)