🚀 go-pugleaf

On 9 Jul 1996, Rolf-Dietmar Herzberg wrote:

> |> > Kann mir jemand sagen, wieviel Informationsgehalt (Bit/Zeichen)
> |> > ein Buchstaben in der deutschen Sprache hat?
> 
> Das ist Kontextabhaengig. Nimm Dir einen Text und schick ihn durch einen
> guten Kompressionsalgorithmus. Der Informationsgehalt eines Buchstabens
> ist dann 
> 
>     # Bits im komprimierten Text
>     ---------------------------
>     # Buchstaben im Original

VORSICHT! Damit erhaelt man eine obere Schranke fuer den Informations-
gehalt. Der tatsaechliche Informationsgehalt ist noch etwas niedriger 
-- so gut sind "reale" Kompressionsalgorithmen eben nicht. 

EXPERIMENT: Nimm einen passablen Zufallsgenerator (z.B. einen simplen
linearen Kongruenzgenerator), einen Startwert fuer diesen (z.B. 32 Bit),
und erzeuge eine lange Liste von Zufallszahlen (schon 1000 Stueck wuerden
genuegen). Komprimiere die Liste mit Deinem besten Kompressionsprogramm. 
Wieviele Bits bleiben uebrig? Der Informationsgehalt der ganzen Liste ist
32 Bit. (Ein paar Bit mehr, wenn man die Formel fuer den Zufallsgenerator
und die Anzahl der Zufallszahlen mit beruecksichtigt ...)


Stefan Lucks  Inst. f. NAM, Lotzestrasse 16-18, 37083 Goettingen, Germany
              e-mail: lucks@math.uni-goettingen.de
              home:   http://www.num.math.uni-goettingen.de/lucks/
----- Wer einem Computer Unsinn erzaehlt, muss immer damit rechnen. -----