🚀 go-pugleaf

user <no@thanks.be> writes:

> ipv weex, en per doc uploaden heb ik al eens gelezen 
> van zoiets als een tar.gz uploaden, dan een cmd en de 
> server plooit alles netjes open.
>
> Hoe zou het gaan??

kan je de server op met ssh?


-- 
John Bokma                                                               j3b

Blog: http://johnbokma.com/    Facebook: http://www.facebook.com/j.j.j.bokma
    Freelance Perl & Python Development: http://castleamber.com/

On 2010-09-19, John Bokma <john@castleamber.com> wrote:
> user <no@thanks.be> writes:
>
>> ipv weex, en per doc uploaden heb ik al eens gelezen 
>> van zoiets als een tar.gz uploaden, dan een cmd en de 
>> server plooit alles netjes open.
>>
>> Hoe zou het gaan??
>
> kan je de server op met ssh?

Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
gebruiken.



-- 
When in doubt, use brute force.
                -- Ken Thompson

Rikishi42 <skunkworks@rikishi42.net> writes:

> On 2010-09-19, John Bokma <john@castleamber.com> wrote:
>> user <no@thanks.be> writes:
>>
>>> ipv weex, en per doc uploaden heb ik al eens gelezen 
>>> van zoiets als een tar.gz uploaden, dan een cmd en de 
>>> server plooit alles netjes open.
>>>
>>> Hoe zou het gaan??
>>
>> kan je de server op met ssh?
>
> Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
> gebruiken.

Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
sneller gaat door een tarball over te zenden en uit te pakken,
on-the-fly, dan met rsync.

-- 
John Bokma                                                               j3b

Blog: http://johnbokma.com/    Facebook: http://www.facebook.com/j.j.j.bokma
    Freelance Perl & Python Development: http://castleamber.com/

John Bokma wrote:

> Rikishi42 <skunkworks@rikishi42.net> writes:
> 
>> On 2010-09-19, John Bokma <john@castleamber.com> wrote:
>>> user <no@thanks.be> writes:
>>>
>>>> ipv weex, en per doc uploaden heb ik al eens gelezen
>>>> van zoiets als een tar.gz uploaden, dan een cmd en de
>>>> server plooit alles netjes open.
>>>>
>>>> Hoe zou het gaan??
>>>
>>> kan je de server op met ssh?
>>
>> Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
>> gebruiken.
> 
> Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
> sneller gaat door een tarball over te zenden en uit te pakken,
> on-the-fly, dan met rsync.
 
Dat zou best eens mee kunnen vallen. Als men rsync gebruikt hoeft er
niet voor verzending en na ontvangst zowel tar als gzip gedraaid te
worden, want dat wordt dan door rsync zelf verwerkt. En qua disk I/O
maakt het ook al niet uit door wie die verzorgd wordt.

Aan de andere kant heeft tar ook zijn voordelen in het gebruik. Oftewel,
eigenlijk is het gebruik van SSH de meest doorslaggevende factor. Maar
daar had je al naar gevraagd.
-- 
Fred Mobach - fred@mobach.nl 
website : https://fred.mobach.nl
 .... In God we trust ....
 .. The rest we monitor ..

user schreef:
> ipv weex, en per doc uploaden heb ik al eens gelezen 
> van zoiets als een tar.gz uploaden, dan een cmd en de 
> server plooit alles netjes open.
> 
> Hoe zou het gaan??
> 
> Merci
> Marc

Als je geen overhead wilt hebben van ssh of smb, en je wilt tussen 2
machines in een vertrouwde netwerk omgeving tig duizenden files van
machine a naar b zetten, kan je eventueel ook netcat gebruiken icm tar:

Zie: http://bas.dds.nl/wordpress/?p=252

Is in mijn ervaring vaak de snelste manier van kopieren van *heel veel*
kleine files.

-- 
Bas Janssen  /.  bas@dds.nl  /.  www.bas.dds.nl  /. PGP#0x22FA2C9F

The world is run by idiots because they're more efficient than hamsters.

Bas Janssen <bas@dds.nl> writes:

> user schreef:
>> ipv weex, en per doc uploaden heb ik al eens gelezen 
>> van zoiets als een tar.gz uploaden, dan een cmd en de 
>> server plooit alles netjes open.
>> 
>> Hoe zou het gaan??
>> 
>> Merci
>> Marc
>
> Als je geen overhead wilt hebben van ssh of smb, en je wilt tussen 2
> machines in een vertrouwde netwerk omgeving tig duizenden files van
> machine a naar b zetten, kan je eventueel ook netcat gebruiken icm tar:
>
> Zie: http://bas.dds.nl/wordpress/?p=252
>
> Is in mijn ervaring vaak de snelste manier van kopieren van *heel veel*
> kleine files.

Nuttig, thanks.

-- 
John Bokma                                                               j3b

Blog: http://johnbokma.com/    Facebook: http://www.facebook.com/j.j.j.bokma
    Freelance Perl & Python Development: http://castleamber.com/

John Bokma wrote:

> kan je de server op met ssh?
> 


ftp.fulladsl.be

ik denk van niet

www.fulladsl.be   --->   
http://myaccount.fulladsl.be/Technical/Webspace.aspx

wellicht kan ik niet zo inloggen op de server, maar ik 
dacht dat sommige ftp een tar.gz konden 
"interpreteren", mits weetikveel...

Alvast bedankt


-- 
--
What's on Shortwave guide: choose an hour, go!
http://shortwave.tk
700+ Radio Stations on SW http://swstations.tk
300+ languages on SW http://radiolanguages.tk

user <no@thanks.be> writes:

> John Bokma wrote:
>
>> kan je de server op met ssh?
>> 
>
>
> ftp.fulladsl.be
>
> ik denk van niet
>
> www.fulladsl.be   --->   
> http://myaccount.fulladsl.be/Technical/Webspace.aspx
>
> wellicht kan ik niet zo inloggen op de server, maar ik 
> dacht dat sommige ftp een tar.gz konden 
> "interpreteren", mits weetikveel...

Geen idee, ik gebruik zeer zelden ftp (alleen als het niet anders
kan). Als je een CGI script kan schrijven, dan kan die vast die tar
uitpakken (met de juiste rechten). Anders zou ik filezilla gebruiken, en
een lange koffiepauze houden :-).

-- 
John Bokma                                                               j3b

Blog: http://johnbokma.com/    Facebook: http://www.facebook.com/j.j.j.bokma
    Freelance Perl & Python Development: http://castleamber.com/

On 2010-09-20, John Bokma <john@castleamber.com> wrote:
> Rikishi42 <skunkworks@rikishi42.net> writes:
>
>> On 2010-09-19, John Bokma <john@castleamber.com> wrote:
>>> user <no@thanks.be> writes:
>>>
>>>> ipv weex, en per doc uploaden heb ik al eens gelezen 
>>>> van zoiets als een tar.gz uploaden, dan een cmd en de 
>>>> server plooit alles netjes open.
>>>>
>>>> Hoe zou het gaan??
>>>
>>> kan je de server op met ssh?
>>
>> Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
>> gebruiken.
>
> Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
> sneller gaat door een tarball over te zenden en uit te pakken,
> on-the-fly, dan met rsync.

A priori zou dat inderdaad beter gaan, maar ik denk neit dat hij daar zoveel
van zou merken. Natuurlijk, als het gaat om een regelmatig te herhalen werk,
zou ik wel tijd steken ik optimiseren.

De tarball is allemaal goed en wel, maar die maken zal ook tijd innemen.
Misschien dat de compressie niet zo groot is, dan zou hij er niet eens aan
winnen.

En dan nog iets: is het voor de admin van die server OK dat er zo'n gebruik
gemaakt wordt van zijn machine? De cpu wordt wel aan het werk gezet, met
30.000 files. En is er voldoende volume om bij die verzameling docs, nog
eens een grote tar toe te voegen?

 

-- 
When in doubt, use brute force.
                -- Ken Thompson

On 2010-09-20, user <no@thanks.be> wrote:
> John Bokma wrote:
>
>> kan je de server op met ssh?
>> 
>
>
> ftp.fulladsl.be
>
> ik denk van niet
>
> www.fulladsl.be   --->   
> http://myaccount.fulladsl.be/Technical/Webspace.aspx
>
> wellicht kan ik niet zo inloggen op de server, maar ik 
> dacht dat sommige ftp een tar.gz konden 
> "interpreteren", mits weetikveel...
>
> Alvast bedankt

Ga er gewoon met een goede FTP client heen, die zal de boel ook wel halen.
De tijd van er over na te denken, is de boel al bij U. En herstarten in
geval van onderbrekeing is toch ook geen probleem meer.
FileZilla of mc, zou ik zeggen.


Of vraag of iemand hier het voor U kan sponzen, alles op DVD zetten en per
snailmail versturen. Tegen betaling, natuurlijik.  :-)


-- 
When in doubt, use brute force.
                -- Ken Thompson

Rikishi42 <skunkworks@rikishi42.net> writes:

> On 2010-09-20, John Bokma <john@castleamber.com> wrote:
>> Rikishi42 <skunkworks@rikishi42.net> writes:
>>
>>> On 2010-09-19, John Bokma <john@castleamber.com> wrote:
>>>> user <no@thanks.be> writes:
>>>>
>>>>> ipv weex, en per doc uploaden heb ik al eens gelezen 
>>>>> van zoiets als een tar.gz uploaden, dan een cmd en de 
>>>>> server plooit alles netjes open.
>>>>>
>>>>> Hoe zou het gaan??
>>>>
>>>> kan je de server op met ssh?
>>>
>>> Als dat het geval is, kan je mmisschien zelfs ftp oveslaan en rsync
>>> gebruiken.
>>
>> Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
>> sneller gaat door een tarball over te zenden en uit te pakken,
>> on-the-fly, dan met rsync.
>
> A priori zou dat inderdaad beter gaan, maar ik denk neit dat hij daar zoveel
> van zou merken. Natuurlijk, als het gaat om een regelmatig te herhalen werk,
> zou ik wel tijd steken ik optimiseren.
>
> De tarball is allemaal goed en wel, maar die maken zal ook tijd innemen.
> Misschien dat de compressie niet zo groot is, dan zou hij er niet eens aan
> winnen.
>
> En dan nog iets: is het voor de admin van die server OK dat er zo'n gebruik
> gemaakt wordt van zijn machine? De cpu wordt wel aan het werk gezet, met
> 30.000 files. En is er voldoende volume om bij die verzameling docs, nog
> eens een grote tar toe te voegen?

Die tarball stream je naar de andere kant, waar die on-the-fly weer
uitgepakt wordt ;-). 

Zie: http://www.koopman.me/2008/11/tar-pipe-ssh/
 en: http://linux.icydog.net/ssh/piping.php

-- 
John Bokma                                                               j3b

Blog: http://johnbokma.com/    Facebook: http://www.facebook.com/j.j.j.bokma
    Freelance Perl & Python Development: http://castleamber.com/

On 2010-09-21, John Bokma <john@castleamber.com> wrote:
>> En dan nog iets: is het voor de admin van die server OK dat er zo'n gebruik
>> gemaakt wordt van zijn machine? De cpu wordt wel aan het werk gezet, met
>> 30.000 files. En is er voldoende volume om bij die verzameling docs, nog
>> eens een grote tar toe te voegen?
>
> Die tarball stream je naar de andere kant, waar die on-the-fly weer
> uitgepakt wordt ;-). 

God ja, was ik vergeten. De laatste keer dat ik tar echt gebruikt heb, waren
DAT tapes van 4 GB nog een luxe.  :-)

Maar dan mag er niets fout gaan, of je kan alles opnieuw beginnen.
Rsync is beter.   :-)



-- 
When in doubt, use brute force.
                -- Ken Thompson

Fred Mobach wrote:

>> Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit
>> sneller gaat door een tarball over te zenden en uit te pakken,
>> on-the-fly, dan met rsync.

Hmmmm, nope. Het nadeel met rsync is dat je eerst een filesystem walk moet 
doen voor je effectief begint te kopiëren, maar de afzonderlijke files 
sturen zorgt niet voor vertragingen (round trip times). Het protocol is daar 
op voorzien. 

> Dat zou best eens mee kunnen vallen. Als men rsync gebruikt hoeft er
> niet voor verzending en na ontvangst zowel tar als gzip gedraaid te
> worden, want dat wordt dan door rsync zelf verwerkt. En qua disk I/O
> maakt het ook al niet uit door wie die verzorgd wordt.

Tar draaien is nu niet meteen wat je noemt veel overhead. gzip vreet net 
zoveel cpucycles binnen rsync als binnen euh, gzip; los daarvan draait het 
bij de tar methode in een ander proces, wat een speed bonus geeft op SMP 
systemen (meerdere cpu's of processorcores).

-- 
Frank Van Damme