Article View: nl.comp.os.linux.netwerken
Article #1Re: sneller ftp van 30.000 docs
From: Frank Van Damme
Date: Fri, 15 Oct 2010 14:27
Date: Fri, 15 Oct 2010 14:27
23 lines
2211 bytes
2211 bytes
Fred Mobach wrote: >> Yup, hoewel ik denk dat als je 30K docs in 1x wilt overzetten dit >> sneller gaat door een tarball over te zenden en uit te pakken, >> on-the-fly, dan met rsync. Hmmmm, nope. Het nadeel met rsync is dat je eerst een filesystem walk moet doen voor je effectief begint te kopiëren, maar de afzonderlijke files sturen zorgt niet voor vertragingen (round trip times). Het protocol is daar op voorzien. > Dat zou best eens mee kunnen vallen. Als men rsync gebruikt hoeft er > niet voor verzending en na ontvangst zowel tar als gzip gedraaid te > worden, want dat wordt dan door rsync zelf verwerkt. En qua disk I/O > maakt het ook al niet uit door wie die verzorgd wordt. Tar draaien is nu niet meteen wat je noemt veel overhead. gzip vreet net zoveel cpucycles binnen rsync als binnen euh, gzip; los daarvan draait het bij de tar methode in een ander proces, wat een speed bonus geeft op SMP systemen (meerdere cpu's of processorcores). -- Frank Van Damme
Technical Details
Message-ID:
<i99o9t$amj$1@nl-news.euro.net>Path:
arc1-ca.pugleaf.net!g2news2.google.com!news2.google.com!goblin3!goblin1!goblin.stu.neva.ru!news2.euro.net!textnews.euro.net!nl-news.euro.net!not-for-mailReferences:
<i75n6t$uen$1@news.eternal-september.org> <87y6ax1pms.fsf@castleamber.com> <3reim7-6cf.ln1@murmur.very.softly> <87zkvd17lh.fsf@castleamber.com> <i775tf$bf1$1@news.mobach.nl>Show Full Headers
Complete Article Headers
X-Google-Thread: 7593d9e372,58d22069240f4f85 X-Google-Attributes: gid7593d9e372,public,usenet X-Google-NewGroupId: yes X-Google-Language: DUTCH,UTF8 Path: arc1-ca.pugleaf.net!g2news2.google.com!news2.google.com!goblin3!goblin1!goblin.stu.neva.ru!news2.euro.net!textnews.euro.net!nl-news.euro.net!not-for-mail From: Frank Van Damme <frank.vandamme@gmail.com> Newsgroups: nl.comp.os.linux.netwerken,be.comp.os.linux Subject: Re: sneller ftp van 30.000 docs Date: Fri, 15 Oct 2010 16:27:05 +0200 Organization: EuroNet Internet Lines: 23 Message-ID: <i99o9t$amj$1@nl-news.euro.net> References: <i75n6t$uen$1@news.eternal-september.org> <87y6ax1pms.fsf@castleamber.com> <3reim7-6cf.ln1@murmur.very.softly> <87zkvd17lh.fsf@castleamber.com> <i775tf$bf1$1@news.mobach.nl> NNTP-Posting-Host: ip-83-134-115-193.dsl.scarlet.be Mime-Version: 1.0 Content-Type: text/plain; charset="UTF-8" Content-Transfer-Encoding: 8Bit X-Trace: nl-news.euro.net 1287152765 10963 83.134.115.193 (15 Oct 2010 14:26:05 GMT) X-Complaints-To: usenet@nl-news.euro.net NNTP-Posting-Date: Fri, 15 Oct 2010 14:26:05 +0000 (UTC) Cancel-Lock: sha1:tgy7QujSEI9rQ0nB3WMYkiG4W8A= sha1:bRyGvPqDZXmAKKQDTkXrt8qw/CE= User-Agent: KNode/4.4.6