🚀 go-pugleaf

Der endgueltige Zeichensatz
---------------------------

Auf dieser Erde werden weitaus mehr Zeichensaetze benutzt als mit 8 Bits
darstellbar sind. Daher ist der heute gebraeuchliche Standardzeichensatz
ISO Latin alphabet No. 1 sicher auch nur eine Uebergangsloesung. Fuer
die Abkehr von 8-Bit Zeichensaetzen spricht insbesondere:

  - Einige Sprachen (Chinesisch, Japanisch, Koreanisch) koennen alleine
    schon nicht durch einen 8-Bit Zeichensatz dargestellt werden.

  - Es besteht zwar die Moeglichkeit mit ESC-Sequenzen zwischen
    vielen 8-Bit Zeichensaetzen umzuschalten (ISO 2022), jedoch sind 
    damit im Programmiereralltag viele Probleme verbunden, z.B.
    weiss man mit einem Pointer in einen String nicht, welcher
    Zeichensatz gerade aktiv ist.

Daher hat man sich inzwischen auf einen allumfassenden 32-bit Zeichensatz
ISO 10646 UCS (Unified multi-octet coded character set) geeinigt.
Derzeit ist man noch in der Lage, alle Zeichen in den ersten 2**16 Zellen
des UCS, in der BMP (basic multilingual plane) unterzubringen, die auch
als Unicode Zeichensatz oder UCS-2 bekannt ist. Evtl. wird es spaeter 
Erweiterungen im vollen 32-bit Raum geben, um z.B. die in mehreren 
Sprachen vorkommenden Zeichen getrennt aufzufuehren, was fuer eine 
landesspezifische Sortierung/Kleingrossumwandlung/... noetig waere.

Es ist bereits abzusehen, dass sich UCS-2 (also das 16-bit Subset)
auf dem Markt durchsetzen wird, da hierfuer bereits seit langem ein
Bedarf besteht. Ob UCS-4 (die volle 32-bit Variante) sich ausser in
Spezialanwendungen durchsetzen wird bleibt auzuwarten, der Implementations-
aufwand ist sicherlich groesser.

Da die ersten 256 Eintraege der UCS Tabelle genau dem Latin 1 entspricht,
werden wir es in Zukunft wohl hauptsaechlich mit folgenden 4 Zeichensatz-
ebenen zu tun haben:

                                     in ISO 10646 UCS
       klassischer US-ASCII         00000000 - 0000007f
       ISO 8859-1 Latin 1           00000000 - 000000ff
       UCS-2 (16-bit Subset)        00000000 - 0000ffff
       UCS-4 (der volle UCS)        00000000 - ffffffff


In UCS-2 wurden die beiden Zeichen feff und fffe reserviert, um eine
Unterscheidung zwischen Bigendian und Littleendian Dateien zu ermoeglichen.
Da daher kuenftig wohl jede anstaendige UCS-Datei mit feff (oder mit dem
verbotenen Wert fffe -> Bytes sind zu vertauschen) beginnt, lassen sich in 
kuenftigen Betriebssystemen, die UCS-2 unterstuetzen UCS und ASCII-Dateien 
leicht unterscheiden.

In der Zeitschrift c't September 1992 ist uebrigens ein Teil der UCS
Tabelle abgedruckt.

Markus

-- 
Markus Kuhn, Computer Science student -=-=- University of Erlangen, Germany
Internet: mskuhn@immd4.informatik.uni-erlangen.de  |  X.500 entry available
-A distributed system is one in which the failure of a computer you didn't-
-even know existed can render your own computer unusable. (Leslie Lamport)-