Unicode

TODO

Modell

Geschriebene Sprache:

• Grapheme: die kleinste Schrifteinheit in einer geschriebenen Sprache
• Character: TODO
• Character Set: TODO
• Glyph: TODO

Unicode:

• Coded Character Set: TODO
• Code Space: TODO
• Code Point: eine abstrakte Zuordnung von Zeichen zu Zahlen. U+ + Hexadezimalzahl, z.B: U+0639.
• Code Unit: TODO
• Grapheme Cluster: TODO
• U+FFFD REPLACEMENT CHARACTER (�)
• Basic Multilingual Plane (BMP): TODO
• Byte Order Mark (BOM): U+FEFF definiert die Endianness: FE FF oder FF FE am Anfang des Textes/der Dateí.

Encodings

Das Encoding eines Textes muss vor dem Lesen bekannt sein.

• UTF-8:
  • Größe eines Code Points: 1 bis 4 Bytes
  • Endianness: keine. BOM ist unnötig.
  • ASCII ist ein Subset
• UTF-16:
  • Größe eines Code Points: 2 oder 4 Bytes
  • Endianness: UTF-16LE, UTF-16BE
  • basiert auf UCS-2 (Größe eines Code Points: 2 Bytes)
  • Guter Kompromiss für interne Repräsentation (RAM, Verarbeitungsaufwand)
• UTF-32:
  • Größe eines Code Points: 4 Bytes
  • Endianness: TODO
  • identisch zu UCS-4
  • Erlaubt Random Access.

Normalisierung

TODO

NFD, NFC, NFKD, NFKC

Referenzen

• UTF-8 Everywhere