🚀 go-pugleaf

guenter@hghpc.go.sub.de (Guenter Hanke) writes:


>Wollt Ihr ein offline Reader fuer UUCP fuer Windows aehnlich wie  
>CrossPoint?

>Was soll das denn koennen?

>Jeder von Euch darf einen Programmpunt programmieren!

>... wie bei Linux

>Toll, oder?

>Echt. Traut Euch wirklich mal, zu antworten.  Mal sehen, ob aus unserem  
>Traum (Hirngespinst) was wird...

Ich hatte vor ca. einem Jahr schonmal mit soetwas begonnen. Nur leider ist
es dann wegen Zeit- und Lustmangel liegen geblieben. Ich hatte mir damals
das Unix-Connect Packet von Martin Husemann vorgenommen und die UUCP
Teile schrittweise nach DOS/Windows portiert. Als Message-Base hatte ich
mir ueberlegt, dass ich mich streng an das CNews/INN-Konzept halten wollte.
Schlieslich hat es sich ja bewehrt....


-- 

     Oliver Raupach

oliver@mm.extern.fh-hannover.de (Oliver Raupach) writes:
>Teile schrittweise nach DOS/Windows portiert. Als Message-Base hatte ich
>mir ueberlegt, dass ich mich streng an das CNews/INN-Konzept halten wollte.
>Schlieslich hat es sich ja bewehrt....

Oh, nein.... Das CNews Konzept stammt aus der Zeit, wo Newssoftware noch
eine Batchsammlung war (A,B,C-News). Der Innd bietet erstmals konsequent
die Moeglichkeit (mit NOV und Co) diesen Schwachsinn von der Platte zu
fegen und durch eine sinnvolles Konzept zu ersetzen.

Ein Load von 12 bis 18 kann ja bei rnews-Orgien nicht im Sinne des
Erfinders sein, wenn die CPU 85% Idle zeigt und die schnellen SCSI-Platten
einfach nicht nachkommen...

-- 
| Lutz.Donnerhacke@Jena.Thur.De | (+49/3641)331496 ring, hangup, ring again |
|       Eine kurze richtige Antwort (mancher mag sie als unfreundlich       |
|       bezeichnen) ist besser als eine lange, freundliche, falsche.        |
+-----------------------------------------hohndel@suse.de (Dirk H. Hohndel)-+

Oliver Raupach (oliver@mm.extern.fh-hannover.de) wrote:

: Ich hatte vor ca. einem Jahr schonmal mit soetwas begonnen. Nur leider ist
: es dann wegen Zeit- und Lustmangel liegen geblieben. Ich hatte mir damals
: das Unix-Connect Packet von Martin Husemann vorgenommen und die UUCP
: Teile schrittweise nach DOS/Windows portiert. Als Message-Base hatte ich
: mir ueberlegt, dass ich mich streng an das CNews/INN-Konzept halten wollte.
: Schlieslich hat es sich ja bewehrt....

Au ja. Und das auf einem Spielzeug-BS mit FAT-Filesystem... Da wirst Du 
leider blitzschnell feststellen, dass auch grosse Platten leider nur sehr
begrenzt Platz in ihren Directory-Strukuren haben. Vergiss es! Oder willst Du
nur ein paar hundert Artikel ablegen?

Martin   


--
|  Martin Jangowski  Apotheken Dienstleistungs Gesellschaft mbH  |
|          Entwicklung Warenwirtschaftsysteme Mannheim           |
|               E-Mail:  Martin.Jangowski@adg.de                 |
|        Snail mail:  Pfingstweidstr. 5 68199 Mannheim           |

lutz@as-node.jena.thur.de (Lutz Donnerhacke) writes:

>>Teile schrittweise nach DOS/Windows portiert. Als Message-Base hatte ich
>>mir ueberlegt, dass ich mich streng an das CNews/INN-Konzept halten wollte.
>>Schlieslich hat es sich ja bewehrt....

>Oh, nein.... Das CNews Konzept stammt aus der Zeit, wo Newssoftware noch
>eine Batchsammlung war (A,B,C-News). Der Innd bietet erstmals konsequent
>die Moeglichkeit (mit NOV und Co) diesen Schwachsinn von der Platte zu
>fegen und durch eine sinnvolles Konzept zu ersetzen.

Nun ja, ich hatte eigentlich mehr den Vergleich XPoint-Datenbasis mit 
CNews-Datenbasis im Auge. Ich denke, da faellt das CNews/INN-Konzept
doch besser aus. Auf die Feinheiten, wie NOV, habe ich da noch nicht 
geachtet.


-- 

     Oliver Raupach

In <434kf0$qra@mm.extern.fh-hannover.de> oliver@mm.extern.fh-hannover.de (Oliver Raupach) writes:
>Nun ja, ich hatte eigentlich mehr den Vergleich XPoint-Datenbasis mit 
>CNews-Datenbasis im Auge. Ich denke, da faellt das CNews/INN-Konzept
>doch besser aus. Auf die Feinheiten, wie NOV, habe ich da noch nicht 
>geachtet.

Dann solltest Du schon einmal daran denken, ein neues
Dateisystem fuer DOS zu schreiben. Nach 2^16 Clustern ist
Schluss.

Kristian
-- 
Kristian Köhntopp, Wassilystraße 30, 24113 Kiel, +49 431 688897
"Too much memory."
	-- Fehlermeldung beim Installieren von Windows'95, jul@toppoint.de

In article <433j29$kct@alpha.adg.de>,
maja@alpha.adg.de, aka Martin Jangowski wrote:
> Oliver Raupach (oliver@mm.extern.fh-hannover.de) wrote:
> 
> : Ich hatte vor ca. einem Jahr schonmal mit soetwas begonnen. Nur
> leider ist : es dann wegen Zeit- und Lustmangel liegen geblieben. Ich
> hatte mir damals : das Unix-Connect Packet von Martin Husemann
> vorgenommen und die UUCP : Teile schrittweise nach DOS/Windows
> portiert. Als Message-Base hatte ich : mir ueberlegt, dass ich mich
> streng an das CNews/INN-Konzept halten wollte. : Schlieslich hat es
> sich ja bewehrt.... 
> 
> Au ja. Und das auf einem Spielzeug-BS mit FAT-Filesystem... Da wirst
> Du leider blitzschnell feststellen, dass auch grosse Platten leider
> nur sehr begrenzt Platz in ihren Directory-Strukuren haben. Vergiss
> es! Oder willst Du nur ein paar hundert Artikel ablegen?

Na dann gleich auf NT. Unter NTFS gibt's keine Probleme mit einigen 10-
100tausend Files. Allerdings ist das xNews-System eher veraltet zu nennen,
irgendein passendes DB-Konzept waere sinniger. Auch die internen Daten-
mengen wuerden durch NT's mm-Files und Multithreading leichter zu be-
waeltigen sein. Der Benutzerfreundlichkeit von XP gleichzukommen, stelle
ich mir schwer vor.

Michail
------------------------------------------------------------------------
Michail Brzitwa              <mb@icem.de>                 +49-511-343215

    GM/CS d?(-+) H---(++) s:+ !g a? w !v C++ U[I]++ P-- E-- N++ W++
            po--- t++ b++ D++ e+(++++) u---(**) f r- n@ y++

maja@alpha.adg.de(Martin Jangowski)  12.09.95 in /de/comm/software/crosspoint:

>>Oliver Raupach (oliver@mm.extern.fh-hannover.de) wrote:
>>
>>Ich hatte vor ca. einem Jahr schonmal mit soetwas begonnen. Nur
>>leider ist es dann wegen Zeit- und Lustmangel liegen geblieben. Ich
>>hatte mir damals das Unix-Connect Packet von Martin Husemann
>>vorgenommen und die UUCP Teile schrittweise nach DOS/Windows
>>portiert. Als Message-Base hatte ich mir ueberlegt, dass ich mich
>>streng an das CNews/INN-Konzept halten wollte. Schlieslich hat es
>>sich ja bewehrt.... 

>Au ja. Und das auf einem Spielzeug-BS mit FAT-Filesystem... 
>Da wirst Du leider blitzschnell feststellen, dass auch grosse Platten leider
>nur sehr begrenzt Platz in ihren Directory-Strukuren haben. 

Die Sub-Direktory Stukturen von DOS sind nicht begrenzt.
Sub-Direktories können jede Anzahl Filenamen annehmen(in den Grenzen der
Plattenkapazität) da sie wie eine normale Datei aufgebaut wird.
In die "root" allerdings kann man nur ein paar 100 Files (konfigurierbar)
legen.


Aber:
Da jede Datei min. einen Cluster einnimmt, ist auch bei einer 2GB-Platte
mit den dann nötigen 32KB(!) Clustern die FAT sehr schnell komplett belegt.
Genauer: Nach rd. 65000 Dateien ist "Ende" mit
freien FAT-Einträgen und damit auch mit neuen Dateien und damit auch
Direktory EInträgen..
(Das geschieht auch bei einer 500MB Platte)

>Vergiss es! 
>Oder willst Du nur ein paar hundert Artikel ablegen?

Schon mal etwas von Stacker & Co gehört?
Diese Compressions-Programme nutzen auch den "slack" aus 
und allozieren sectorweise.

Aber Dein Einwand ist ansonsten berechtigt.
Für DOS ist das Crosspoint-Format besser geeignet, auch wenn
bei jedem Incremental-Backup ALLES aufs Band wandert..


Wo bleibt das NTFS-lite für Win95?


Rainer

maja@alpha.adg.de (Martin Jangowski) writes:

>Au ja. Und das auf einem Spielzeug-BS mit FAT-Filesystem... Da wirst Du 
>leider blitzschnell feststellen, dass auch grosse Platten leider nur sehr
>begrenzt Platz in ihren Directory-Strukuren haben. Vergiss es! Oder willst Du
>nur ein paar hundert Artikel ablegen?

Ja!

Schliesslich soll man damit "News lesen". Leute, die sich beim betrachten
ihrer 'Messagebase' einen 'runterholen' sollen lieber zu Linux gehen ...


-- 

     Oliver Raupach

In article <437kd4$tbu@mm.extern.fh-hannover.de>, Oliver Raupach (oliver@mm.extern.fh-hannover.de) wrote:
: maja@alpha.adg.de (Martin Jangowski) writes:

: >Au ja. Und das auf einem Spielzeug-BS mit FAT-Filesystem... Da wirst Du 
: >leider blitzschnell feststellen, dass auch grosse Platten leider nur sehr
: >begrenzt Platz in ihren Directory-Strukuren haben. Vergiss es! Oder willst Du
: >nur ein paar hundert Artikel ablegen?
: Ja!
: Schliesslich soll man damit "News lesen". Leute, die sich beim betrachten
: ihrer 'Messagebase' einen 'runterholen' sollen lieber zu Linux gehen ...
Ach so.........kommst Du aus dem Fido ???? 

C ya,
	Stephan
--
--------------[ pgp-request@bug.prima.ruhr.de for my PGP-Key ]--------------
Stephan Hermann	- 44135 Dortmund	     E-Mail: ghost@bug.prima.ruhr.de
Admin-Team des Prima e.V. 		     FUN   : FlirtMan@IRC
     <a href="http://www.prima.ruhr.de/home/sh/sh.html"> It's me </a>
----------------------------------------------------------------------------

Hei!

oliver@mm.extern.fh-hannover.de (Oliver Raupach) schreibt:
Aua, mein Killfile ist kaputt!

>>Au ja. Und das auf einem Spielzeug-BS mit FAT-Filesystem... Da wirst Du 
>>leider blitzschnell feststellen, dass auch grosse Platten leider nur sehr
>>begrenzt Platz in ihren Directory-Strukuren haben. Vergiss es! Oder willst Du
>>nur ein paar hundert Artikel ablegen?

>Ja!
>Schliesslich soll man damit "News lesen". Leute, die sich beim betrachten
>ihrer 'Messagebase' einen 'runterholen' sollen lieber zu Linux gehen ...

Wenn Du meinst, daß es nicht nötig ist, Artikel zu transpotieren,
damit sie zu Dir gelangen, dann braucht man keine Komputersysteme,
die zehn- oder hunderttausende von Artikeln am Tag verdauen.

Für sowas braucht man dann tatsächlich ein *ix, aber was das mit
"einen 'runterholen'" zu tun hat, das will vielleicht dann doch nur
noch mein Killfile wissen, also auf wieder-ploing.

>     Oliver Raupach
Grüße, Sören
-- 
Film at X11?

oliver@mm.extern.fh-hannover.de (Oliver Raupach) writes:

>maja@alpha.adg.de (Martin Jangowski) writes:
>>Au ja. Und das auf einem Spielzeug-BS mit FAT-Filesystem... Da wirst Du 
>>leider blitzschnell feststellen, dass auch grosse Platten leider nur sehr
>>begrenzt Platz in ihren Directory-Strukuren haben. Vergiss es! Oder willst Du
>>nur ein paar hundert Artikel ablegen?

>Ja!

>Schliesslich soll man damit "News lesen". Leute, die sich beim betrachten
>ihrer 'Messagebase' einen 'runterholen' sollen lieber zu Linux gehen ...

Ich weiss nicht, was dieser Ton soll. Es gibt gewisse Aufgabengebiete,
wo das klassische *PC*-Betriebssystem (PC steht dabei fuer "Personal
Computer", also ein Computer, der *einer* Person dienlich sein soll) DOS
mit seiner Dateiverwaltung eben nicht mehr ausreicht.

Das ist zum Bleistift dann der Fall, wenn auf einem System eine vierstellige
Zahl an Newsgroups vorhanden ist, und insgesamt eine sechs- oder sieben-
stellige Zahl an Artikeln zu verwalten und auch noch schnell im Zugriff
sein soll.

Das ist bei einem Enduser sicher nicht der Fall, aber hast Du Dir mal
ueberlegt, wo Du Deine Kiste anrufen laesst, damit die News abgeholt werden,
und was da sonst noch so los ist?

Ein typischer Usenet-Knoten, der eine etwas groessere Auswahl an News
fuer die dort angeschlossenen Benutzer transportiert, kommt schnell auf
30-50 MB News am Tag, das sind dann so 15000-20000 Artikel, die pro Tag
reingespuelt werden und oftmals an ein paar Duzend Systeme weitergelei-
tet werden und zudem auch noch ein paar Tage lokal gehalten werden
muessen.

Bei einem all.all-System kannst Du diese Zahlen nochmal mit Faktor 4-5
multiplizieren. Ich moechte lieber nicht sehen, was passiert, wenn man
das auf einen klassischen DOS-Rechner loslaesst und ihm auch noch die
Aufgabe aufdrueckt, nebenbei 50 News-Downlinks zu bedienen. Unabhaengig
von der Frage der Effizienz des Betriebssystemes selbst und der Struktu-
riertheit der Highlevel-Programme stellt sich naemlich schon die Frage,
wie man 85000 Artikel pro Tag mit einer Haltezeit von 5 Tagen ueberhaupt
auf einem FAT-Filesystem unterbringt. Das sind naemlich knapp eine
halbe Million Files, die auf dem Filesystem der Newsplatte unterzubrin-
gen waeren, also sind rein FAT-technisch mindestens acht einzelne
Filesysteme erforderlich... Frohes Partitionieren, und pass' auf, dass
Du die Verteilung *gut* abschaetzt, damit nirgendwo die FAT volllaeuft... :-)

Daniel

-- 
Daniel Roedding  daniel@fiction.pb.owl.de  (05251) 541965 voice  541334 data

ghost@bug.prima.ruhr.de (Stephan Hermann) writes:

>: Schliesslich soll man damit "News lesen". Leute, die sich beim betrachten
>: ihrer 'Messagebase' einen 'runterholen' sollen lieber zu Linux gehen ...
>Ach so.........kommst Du aus dem Fido ???? 

Nee, urspruenglich komme ich aus dem sog. USENET.

 
-- 

     Oliver Raupach

daniel@fiction.pb.owl.de (Daniel Roedding) writes:

>Bei einem all.all-System kannst Du diese Zahlen nochmal mit Faktor 4-5
>multiplizieren. Ich moechte lieber nicht sehen, was passiert, wenn man
>das auf einen klassischen DOS-Rechner loslaesst und ihm auch noch die
>Aufgabe aufdrueckt, nebenbei 50 News-Downlinks zu bedienen. Unabhaengig
>von der Frage der Effizienz des Betriebssystemes selbst und der Struktu-
>riertheit der Highlevel-Programme stellt sich naemlich schon die Frage,
>wie man 85000 Artikel pro Tag mit einer Haltezeit von 5 Tagen ueberhaupt
>auf einem FAT-Filesystem unterbringt. Das sind naemlich knapp eine
>halbe Million Files, die auf dem Filesystem der Newsplatte unterzubrin-
>gen waeren, also sind rein FAT-technisch mindestens acht einzelne
>Filesysteme erforderlich... Frohes Partitionieren, und pass' auf, dass
>Du die Verteilung *gut* abschaetzt, damit nirgendwo die FAT volllaeuft... :-)

Tut mir leid. Du bist im falschen Film.

Es ging hier nicht um riesige NewsSysteme. Es ging um ein kleines
Newsprogramm fuer den Endkunden, der 30 oder 40 Newsgruppen liesst.
Mit einem Newsvolumen von 500kB bis 1MB am Tag und einer Haltezeit von
wenigen Tagen (man brauch keine 14 Tage alten Artikel).

Ich denke das koennte man schon auf einem (WIN)DOS-Rechner nach dem 
CNews-Prinzip realisieren.

Ich verstehe nicht, wieso alle Leute immer gleich an voellig ueberzogene
Power-Systeme denken muessen ...


-- 

     Oliver Raupach

In <43e89c$3ka@mm.extern.fh-hannover.de> oliver@mm.extern.fh-hannover.de (Oliver Raupach) writes:
>Es ging hier nicht um riesige NewsSysteme. Es ging um ein kleines
>Newsprogramm fuer den Endkunden, der 30 oder 40 Newsgruppen liesst.
>Mit einem Newsvolumen von 500kB bis 1MB am Tag und einer Haltezeit von
>wenigen Tagen (man brauch keine 14 Tage alten Artikel).

Was immer Du unter "kleines Newsprogramm fuer den Endkunden
verstehst". Meine Kiste hier bekommt die News fuer mich und
meine Frau und haelt die 14 Tage, damit wir auch dann noch News
lesen koennen, wenn wir mal ein laengeres Wochenende machen. Die
Nutzung entspricht einem typischen Pointsystem, wir haben vorher
mehrere Jahre Crosspoint verwendet, bevor ich auf Linux
umgeruestet habe. Auf der Platte sind derzeit etwa 37000
Artikel, die mittlere Dateigroesse liegt bei 2.23 KB pro
Artikel.

Eine DOS-Platte waere damit im guenstisten Falle etwas mehr als
halb voll. Auch dann, wenn sie 1 oder 2 GB gross waere.
Newsartikel als einzelne Dateien abzulegen ist auf einem
FAT-Dateisystem mit maximal 2^16 Clustern einfach Bloedsinn.

Nicht nur wegen der Problematik mit der Clusterung, sondern auch
wegen der total unsinningen Handhabung von Verzeichnissen unter
DOS: Ein Verzeichnis mit vielen Dateien darin sorgt dafuer, dass
jeder Versuch eine Datei in diesem Verzeichnis oder einem seiner
Unterverzeichnisse zu oeffnen extrem langsam wird. Schuld daran
ist das hirntot programmierte findfirst()/findnext() von DOS.

Die Alternative zeigt Crosspoint: Das Programm legt Artikel in
grossen Dateien ab, die etwa Foldern von nn entsprechen.
Crosspoint unterhaelt ausserdem Indexdateien, die B-Baeume von
Zeigern in diese Dateien enthalten. Auf diese Weise entfallen
hunderte von langsamen find*()-Aufrufen und open()-Aufrufen,
stattdessen braucht man sich nur noch mit der linearen (statt
wie in UNIX konstanten) Komplexitaet von seek() rumzuschlagen.


Wir halten fest: DOS als Plattform fuer jede Form von Datenbank
ist wegen des Dateisystems (und zahlloser anderer Shortcomings)
ein Griff ins Klo. Man kann sich als Programmierer jedoch
entscheiden, bis zum Ellenbogen oder bis zum Armgelenk
reinzugreifen...

Sich appetitlicheren Dingen zuwendend,
	Kristian
-- 
Kristian Köhntopp, Wassilystraße 30, 24113 Kiel, +49 431 688897
"Naja, wenn sich sogar Dirk Hohndel Windows 95 gekauft hat, dann kann es ja
 wohl so schlecht nicht sein :-)" -- Ullrich von Bassewitz, de.comp.os.linux

Daniel Roedding (daniel@fiction.pb.owl.de) wrote:
> Ein typischer Usenet-Knoten, der eine etwas groessere Auswahl an News
> fuer die dort angeschlossenen Benutzer transportiert, kommt schnell auf
> 30-50 MB News am Tag, das sind dann so 15000-20000 Artikel, die pro Tag
> reingespuelt werden und oftmals an ein paar Duzend Systeme weitergelei-
> tet werden und zudem auch noch ein paar Tage lokal gehalten werden
> muessen.
> Bei einem all.all-System kannst Du diese Zahlen nochmal mit Faktor 4-5
> multiplizieren.

Mach mal 5-15 daraus, das kommt eher hin... nur so zur Abschreckung:
wir haben bloß 5900 Newsgroups (also vielleicht ein Drittel dessen,
was es auf manchen Servern so gibt) und kriegen trotzdem pro Tag etwa
60000-100000 Artikel mit etwa 200-300MB rein.  Ich finde, Newbies
sollten diese Zahlen mal gelesen haben, um eine Vorstellung davon zu
kriegen, was auf einem Newsserver so abgeht.

> Ich moechte lieber nicht sehen, was passiert, wenn man
> das auf einen klassischen DOS-Rechner loslaesst und ihm auch noch die
> Aufgabe aufdrueckt, nebenbei 50 News-Downlinks zu bedienen.

Gar nicht nötig.  Einer meiner Rechner zuhause ist so eine
"Enduser-Site".  Ich lese bloß ca. 50 Newsgroups und halte die meisten
Artikel nicht länger als 10-20 Tage (man will ja mal in Diskussionen
zurückblättern können...).  Zur Zeit hat der Spool nur 56MB, es sind
aber (inklusive Directories) 20000 Files = Artikel drin.  Das sind -
je nach Partitionierung - bis zu 70% einer DOS-Partition, egal wie
groß sie auch ist!  Und da die meisten DOS/Windows-Benutzer ihre
Platte überhaupt nicht in Partitionen unterteilen, heißt das, daß die
Platte mit den News schlicht proppenvoll ist.

Das klassische Cnews/INN-Verfahren, News abzulegen, schlägt auf einem
FAT-Filesystem zwangsläufig fehl, sobald man auch nur minimale
Ansprüche stellt; meiner Meinung nach lohnt es sich nicht, ein solches
System für DOS/Windows zu entwickeln, insbesondere wenn man daran
denkt, daß das News-Aufkommen (auch einer konstanten, kleinen Zahl von
Gruppen) stetig am Wachsen ist.


Chris

-- 
Chris Blum    http://www.phil.uni-sb.de/~chris/    PGP encrypted mails welcome

kris@white.schulung.netuse.de (=?ISO-8859-1?Q?Kristian_K=F6hntopp?=) writes:

>>Es ging hier nicht um riesige NewsSysteme. Es ging um ein kleines
>>Newsprogramm fuer den Endkunden, der 30 oder 40 Newsgruppen liesst.
>>Mit einem Newsvolumen von 500kB bis 1MB am Tag und einer Haltezeit von
>>wenigen Tagen (man brauch keine 14 Tage alten Artikel).

>Was immer Du unter "kleines Newsprogramm fuer den Endkunden
>verstehst". Meine Kiste hier bekommt die News fuer mich und
>meine Frau und haelt die 14 Tage, damit wir auch dann noch News
>lesen koennen, wenn wir mal ein laengeres Wochenende machen. Die
>Nutzung entspricht einem typischen Pointsystem, wir haben vorher
>mehrere Jahre Crosspoint verwendet, bevor ich auf Linux
>umgeruestet habe. Auf der Platte sind derzeit etwa 37000
>Artikel, die mittlere Dateigroesse liegt bei 2.23 KB pro
>Artikel.

So wie ich dich einschaetze, bist GERADE DU kein typisches Pointsystem.
Ich dachte eher an folgende Groesse:

50 Newsgruppen mit ca. 20 Artikeln pro Gruppe am Tag = 1000 Artikel 
Haltezeit ca. 7 Tage. Also im Prinzip 7000 Artikel und nicht 37000!!

Die 1000 Artikel am Tag sind dabei noch sehr hoch eingeschaetzt. Bei einem
durchschnittlichen Artikel von 2KB waeren das 2MB Newsvolumen am Tag. 
Gepackt dann vielleicht 1MB. Nach meiner Erfahrung ist das aber eher 
selten. Viele Leute haben um ca. 100KB gepackte News am Tag....

>Nicht nur wegen der Problematik mit der Clusterung, sondern auch
>wegen der total unsinningen Handhabung von Verzeichnissen unter
>DOS: Ein Verzeichnis mit vielen Dateien darin sorgt dafuer, dass
>jeder Versuch eine Datei in diesem Verzeichnis oder einem seiner
>Unterverzeichnisse zu oeffnen extrem langsam wird. Schuld daran
>ist das hirntot programmierte findfirst()/findnext() von DOS.

>Die Alternative zeigt Crosspoint: Das Programm legt Artikel in
>grossen Dateien ab, die etwa Foldern von nn entsprechen.
>Crosspoint unterhaelt ausserdem Indexdateien, die B-Baeume von
>Zeigern in diese Dateien enthalten. Auf diese Weise entfallen
>hunderte von langsamen find*()-Aufrufen und open()-Aufrufen,
>stattdessen braucht man sich nur noch mit der linearen (statt
>wie in UNIX konstanten) Komplexitaet von seek() rumzuschlagen.

Alles schoen und gut. Aber fuer ein Minimalsystem ist es meiner
Meinung nach eher belanglos.


-- 

     Oliver Raupach

In <43jcap$83v@mm.extern.fh-hannover.de> oliver@mm.extern.fh-hannover.de (Oliver Raupach) writes:
>So wie ich dich einschaetze, bist GERADE DU kein typisches Pointsystem.

root@white:~# nnadmin lx
X: Sep  9 03:00 (M): Expire: 3287 art, 155 gr, 103 s
X: Sep 10 03:00 (M): Expire: 3717 art, 161 gr, 105 s
X: Sep 11 03:00 (M): Expire: 4237 art, 188 gr, 100 s
X: Sep 12 03:00 (M): Expire: 3390 art, 176 gr, 101 s
X: Sep 13 03:00 (M): Expire: 4615 art, 153 gr, 104 s
X: Sep 14 03:00 (M): Expire: 976 art, 23 gr, 111 s
X: Sep 15 03:00 (M): Expire: 1498 art, 24 gr, 111 s
X: Sep 16 03:00 (M): Expire: 10677 art, 229 gr, 107 s <-- Unterbrechung der Newsversorgung vor 14. Tage und Schwallnews.
X: Sep 17 03:00 (M): Expire: 3856 art, 136 gr, 105 s
X: Sep 18 03:00 (M): Expire: 3079 art, 163 gr, 105 s
X: Sep 19 03:00 (M): Expire: 3266 art, 186 gr, 104 s

Macht 2000 Artikel pro Tag und Person, Marit und ich haben
praktisch divergente Gruppenauswahlen. Liegt nicht so weit ab
von Deinen Zahlen.

>50 Newsgruppen mit ca. 20 Artikeln pro Gruppe am Tag = 1000 Artikel 
>Haltezeit ca. 7 Tage. Also im Prinzip 7000 Artikel und nicht 37000!!

Macht bei einer typischen DOS-Clustergroesse von 8 KB einen
Platzverbrauch von (Deine Zahlen) 56 MB. Die mittlere
Artikelgroesse ist auf meinem System ~2 KB, der tatsaechliche
Platzverbrauch liegt also bei 14 MB. Unter DOS hast Du auf diese
Weise bei einer Clustergroesse von 8 KB einen Schwund von 75%,
bei 4 KB einen Schwund von 50% des Platzes. Je groesser die
Partitionen und je weniger ausgebildet der Benutzer
(typischerweise hat ein DOS-System die ganze Platte in einer
einzigen Partition), desto groesser der Schwund.

Ein UNIX-Dateisystem (etwa ein BSD FFS) kennt dieses Problem
natuerlich nicht einmal entfernt. Weder ist es auf 2^16 Dateien
eingegrenzt, noch hat es Probleme mit wachsenden
Clustergroessen, mit externer oder interner Fragmentierung, mit
linearem Aufwand bei lseek() und dergleichen mehr (und 
natuerlich hat es auch niemals ein Problem mit 8.3-Dateinamen
gehabt). Das einzige Problem, das UNIX mit DOS teilt, sind
nichtindizierte Verzeichnisse - mit B-Baeumen oder Hashlisten
als Verzeichnissen kann man namei() (und damit das Oeffnen von
Dateien) noch mal gruendlich beschleunigen).

[ XP verwendet indizierte Dateien - Oliver meint, das sei
  irrelevant fuer ein kleines Newssystem ]

Wenn Du wirklich auf Dummuser zielst mit Deiner Software, dann
ist ein

$ find /usr/spool/news -type f -name [0-9]\* -print | xargs grep -i "Subject:.*golf"

wahrscheinlich nicht tolerierbar (und wahrscheinlich auch zu
langsam. Sogar ich verwende nngrab.). Bequeme Suchmoeglichkeiten
muessen nicht nur eine nette Benutzeroberflaeche haben, sie
muessen auch schnell sein. Dazu brauchst Du aber genau die
Indices, die XP angelegt.

Kristian
-- 
Kristian Köhntopp, Wassilystraße 30, 24113 Kiel, +49 431 688897
"Naja, wenn sich sogar Dirk Hohndel Windows 95 gekauft hat, dann kann es ja
 wohl so schlecht nicht sein :-)" -- Ullrich von Bassewitz, de.comp.os.linux

oliver@mm.extern.fh-hannover.de (Oliver Raupach) writes:

>Es ging hier nicht um riesige NewsSysteme. Es ging um ein kleines
>Newsprogramm fuer den Endkunden, der 30 oder 40 Newsgruppen liesst.
>Mit einem Newsvolumen von 500kB bis 1MB am Tag und einer Haltezeit von
>wenigen Tagen (man brauch keine 14 Tage alten Artikel).

>Ich denke das koennte man schon auf einem (WIN)DOS-Rechner nach dem 
>CNews-Prinzip realisieren.

>Ich verstehe nicht, wieso alle Leute immer gleich an voellig ueberzogene
>Power-Systeme denken muessen ...

Ich wollte damit nur noch mal deutlich herausstellen, dass es eben
Leistungsgrenzen und eine doch recht deutliche Existenzberechtigung
fuer Systeme gibt, die eben nicht mit einem FATten 8+3-Filesystem
arbeiten.

Wo bekommt dieser Endnutzer seine News schliesslich her?

Daniel

-- 
Daniel Roedding  daniel@fiction.pb.owl.de  (05251) 541965 voice  541334 data

kris@white.schulung.netuse.de (=?ISO-8859-1?Q?Kristian_K=F6hntopp?=) writes:


>>50 Newsgruppen mit ca. 20 Artikeln pro Gruppe am Tag = 1000 Artikel 
>>Haltezeit ca. 7 Tage. Also im Prinzip 7000 Artikel und nicht 37000!!

>Macht bei einer typischen DOS-Clustergroesse von 8 KB einen
>Platzverbrauch von (Deine Zahlen) 56 MB. Die mittlere
>Artikelgroesse ist auf meinem System ~2 KB, der tatsaechliche
>Platzverbrauch liegt also bei 14 MB. Unter DOS hast Du auf diese
>Weise bei einer Clustergroesse von 8 KB einen Schwund von 75%,
>bei 4 KB einen Schwund von 50% des Platzes. Je groesser die
>Partitionen und je weniger ausgebildet der Benutzer
>(typischerweise hat ein DOS-System die ganze Platte in einer
>einzigen Partition), desto groesser der Schwund.

Na und? Wen kratzen 56 MB ?


>Ein UNIX-Dateisystem (etwa ein BSD FFS) kennt dieses Problem
>natuerlich nicht einmal entfernt. Weder ist es auf 2^16 Dateien
>eingegrenzt, noch hat es Probleme mit wachsenden
>Clustergroessen, mit externer oder interner Fragmentierung, mit
>linearem Aufwand bei lseek() und dergleichen mehr (und 
>natuerlich hat es auch niemals ein Problem mit 8.3-Dateinamen
>gehabt). Das einzige Problem, das UNIX mit DOS teilt, sind
>nichtindizierte Verzeichnisse - mit B-Baeumen oder Hashlisten
>als Verzeichnissen kann man namei() (und damit das Oeffnen von
>Dateien) noch mal gruendlich beschleunigen).

Ja, ja, ja. UNIX ist toll....

>[ XP verwendet indizierte Dateien - Oliver meint, das sei
>  irrelevant fuer ein kleines Newssystem ]

Seltsam. Ich kann mich noch an ein Gespraech erinnern, indem du maechtig 
ueber die XP-Datenbank hergezogen bist. Nun ploetzlich ist sie so toll.
Sehr merkwuerdig...


-- 

     Oliver Raupach

daniel@fiction.pb.owl.de (Daniel Roedding) writes:

>>Ich verstehe nicht, wieso alle Leute immer gleich an voellig ueberzogene
>>Power-Systeme denken muessen ...

>Ich wollte damit nur noch mal deutlich herausstellen, dass es eben
>Leistungsgrenzen und eine doch recht deutliche Existenzberechtigung
>fuer Systeme gibt, die eben nicht mit einem FATten 8+3-Filesystem
>arbeiten.

>Wo bekommt dieser Endnutzer seine News schliesslich her?

Ja, da wo der Enduser seine Daten herbekommt, soll natuerlich ein 
"vernuenftiges" System (INN) laufen. Das ist ja auch kein Problem. 
Aber es ging nicht um dieses System.


-- 

     Oliver Raupach

Oliver Raupach (oliver@mm.extern.fh-hannover.de) wrote:
> kris@white.schulung.netuse.de (=?ISO-8859-1?Q?Kristian_K=F6hntopp?=) writes:
> >>50 Newsgruppen mit ca. 20 Artikeln pro Gruppe am Tag = 1000 Artikel 
> >>Haltezeit ca. 7 Tage. Also im Prinzip 7000 Artikel und nicht 37000!!
[mit diesen 7000 errechnet Kristian 56MB]
> Na und? Wen kratzen 56 MB ?

Schön, dann nimm mal nicht ein so künstlich runtergerechnetes Beispiel
(einer Site in den ersten paar Wochen) wie Deines, sondern die viel
realistischere Zahl von 37000 Artikeln.  Dann sind das schon 296MB,
und die kratzen.  Vor allem wenn man bedenkt, daß sie ohne weiteres
die _gesamte_ Platte belegen können, weil manche DOSen-Partition gar
nicht so viele Cluster hat!

> Ja, ja, ja. UNIX ist toll....

DOS ist einfach nur extrem schlecht, da ist es keine Kunst, besser zu
sein.  Praktisch alles ist besser als DOS.  Mancher Taschenrechner hat
ein besseres Betriebssystem. :-)


Chris

-- 
Chris Blum    http://www.phil.uni-sb.de/~chris/    PGP encrypted mails welcome

In <43on2m$d9l@mm.extern.fh-hannover.de> oliver@mm.extern.fh-hannover.de (Oliver Raupach) writes:
>>[ XP verwendet indizierte Dateien - Oliver meint, das sei
>>  irrelevant fuer ein kleines Newssystem ]

>Seltsam. Ich kann mich noch an ein Gespraech erinnern, indem du maechtig 
>ueber die XP-Datenbank hergezogen bist. Nun ploetzlich ist sie so toll.
>Sehr merkwuerdig...

Es kommt auf die Zielgruppe und die Umgebung an. Die Datenbank
von XP ist notwendig, um Schwaechen in der Implementierung des
Dateisystems von MS-DOS auszugleichen. Wenn man schon dabei ist,
eine spezielle Loesung zu stricken, kann man dabei auch gleich
noch ein Paar Features einbauen, die fuer die gewuenschte
Applikation vorteilhaft sind.

Wenn die unterliegende Software dann auch noch so stabil waere,
dass die Datenbank hinreichend unempfindlich gegen
Betriebsstoerungen waere, waere das System der Loesung von UNIX
ueberlegen. Wer XP laengere Zeit genutzt hat, weiss, dass die
Loesung nicht stabil sein kann, weil einem wildgewordene
Treiber, sterbendes Windows und dergleichen gerne mal die
Indicies oder die Datenbankdateien plattmachen. Das ist
natuerlich aergerlich (wenn nur die Indexdateien sterben) bis
katastrophal (wenn auch die eigentlichen Artikeldatenbanken
beschaedigt werden).

Aber auf jeden Fall ist es effizienter als das MS-DOS
Dateisystem mit seinen Defiziten direkt zu bemuehen.

Kristian

-- 
Kristian Köhntopp, Wassilystraße 30, 24113 Kiel, +49 431 688897
"Naja, wenn sich sogar Dirk Hohndel Windows 95 gekauft hat, dann kann es ja
 wohl so schlecht nicht sein :-)" -- Ullrich von Bassewitz, de.comp.os.linux

In <43q3rr$ck@pfslip04.phil.uni-sb.de> chris@phil.uni-sb.de (Chris Blum) writes:
>Schön, dann nimm mal nicht ein so künstlich runtergerechnetes Beispiel
>(einer Site in den ersten paar Wochen) wie Deines, sondern die viel
>realistischere Zahl von 37000 Artikeln. 

Ich habe auch noch etwas anderes bemerkt: Von den 4000 Artikeln,
die mein System jede nacht bekommt, sind etwa 1500 Artikel
Cancel-Messages (Fehler in meinem Bestelljob: Ich habe control
bestellt). Von diesen 1500 Cancels pro Tag sind ueber 80%
Spamcancels und keine genuinen Eigencancels.

Die Cancel-Nachrichten sind natuerlich besonders kurz, d.h. im
o.a. Fall eines unterliegenden DOS-Systems ist das Verhaeltnis
Nutznachricht gegen tatsaechlich verbrauchter Platz extrem
schlecht.

Kristian
-- 
Kristian Köhntopp, Wassilystraße 30, 24113 Kiel, +49 431 688897
"Naja, wenn sich sogar Dirk Hohndel Windows 95 gekauft hat, dann kann es ja
 wohl so schlecht nicht sein :-)" -- Ullrich von Bassewitz, de.comp.os.linux

> So wie ich dich einschaetze, bist GERADE DU kein typisches Pointsystem.
> Ich dachte eher an folgende Groesse:
>
> 50 Newsgruppen mit ca. 20 Artikeln pro Gruppe am Tag = 1000 Artikel
> Haltezeit ca. 7 Tage. Also im Prinzip 7000 Artikel und nicht 37000!!

20 Artikel am Tage habe aber im Usenet eher wenig Newsgruppen. Bestell mal  
rec.arts.startrek.current und vielleicht noch rec.arts.movies.current und  
du hast fast 1000 Artikel am Tag mit 2 Gruppen.

Sascha



         Sascha Regh
     s.regh@puti.dinoco.de
 Rhinelander - There Can Be Only One



## CrossPoint v3.1 ##

kris@white.schulung.netuse.de (=?ISO-8859-1?Q?Kristian_K=F6hntopp?=) writes:

>>20 Artikel am Tage habe aber im Usenet eher wenig Newsgruppen. Bestell mal  
>>rec.arts.startrek.current und vielleicht noch rec.arts.movies.current und  
>>du hast fast 1000 Artikel am Tag mit 2 Gruppen.

>Und dann ist da noch dieses trading-cards Teil...

... wer bestellt sich schon so einen Mist ?   :-)


-- 

     Oliver Raupach

In <44r05j$78c@mm.extern.fh-hannover.de> oliver@mm.extern.fh-hannover.de (Oliver Raupach) writes:
>>Und dann ist da noch dieses trading-cards Teil...

>... wer bestellt sich schon so einen Mist ?   :-)

Die Leute, die da den Traffic machen. Sollte man jedenfalls
denken.

Kristian
-- 
"Eben, aber sei nicht traurig, wir pollen beide per UUCP und Du hast ein
 Handicap, Du bist aussernetzlich gebunden."
  -- Lutz D. troestet mich: Er hat das Zitat frueher in seiner.sig gehabt.