Unicode einfach erklärt: Codepunkte und UTF-8

Unicode ist ein Standard, also eine gemeinsame Festlegung, für Zeichen und ihre Nummern. Eine solche Nummer heißt Codepunkt. Ein Bit ist eine einzelne 0 oder 1. Acht Bits bilden ein Byte. Eine Bytefolge besteht aus einem oder mehreren Bytes in einer bestimmten Reihenfolge.

Eine Codierung legt fest, wie aus Codepunkten gespeicherte Bytes werden. UTF-8 ist eine solche Codierung. UTF bedeutet „Unicode Transformation Format“, also ein Umwandlungsverfahren für Unicode. Die 8 verweist auf die acht Bits eines Bytes. UTF-8 braucht pro codiertem Codepunkt ein bis vier Bytes. Unicode enthält auch besondere Nummern, die für eine andere Unicode-Codierung reserviert sind. Sie heißen Surrogat-Codepunkte und werden nicht mit UTF-8 codiert.

Die Nummern und Bytes schreiben wir hier hexadezimal. Das ist eine Zahlenschreibweise mit 16 Ziffern: 0 bis 9 und A bis F. A bis F stehen für die Werte zehn bis fünfzehn. U+ kennzeichnet eine Unicode-Nummer in dieser Schreibweise. Bei den Byteangaben bilden jeweils zwei Ziffern ein Byte. Du brauchst die Werte hier nicht umzurechnen, sondern schlägst sie nach.

ASCII bedeutet „American Standard Code for Information Interchange“, ungefähr „Amerikanischer Standardcode für den Austausch von Informationen“. ASCII ist ein Zeichencode: Er ordnet ausgewählten Zeichen Zahlen zum Speichern zu. Er umfasst 128 Positionen von 0 bis 127. Dazu gehören die Buchstaben A bis Z und a bis z sowie die Ziffern 0 bis 9. Die Zeichen „ä“, „Ω“, „€“ und „𝄞“ gehören nicht dazu. ASCII kann sie nicht unverändert codieren.

Die ersten 128 Unicode-Positionen stimmen mit ASCII überein. Beim Speichern in Bytes verwendet UTF-8 für diese Positionen jeweils ein Byte mit demselben Wert wie ASCII. Für andere Codepunkte kann UTF-8 mehrere Bytes brauchen. Unicode legt die Codepunkte fest; UTF-8 legt die dazugehörigen Bytes fest. Unicode ist deshalb keine Festlegung auf ein Byte pro Zeichen.

Eine Zeichenfolge ist eine Reihe von Zeichen. Codieren heißt hier: Du suchst zu jedem Zeichen die UTF-8-Bytes und hängst die gefundenen Bytefolgen in derselben Reihenfolge aneinander. Verwende dafür genau die Codepunkte der Tabelle. Sie enthält Buchstaben, das Eurozeichen „€“ und das Musikzeichen „𝄞“.

Decodieren ist der Rückweg: Du liest die Bytes von links nach rechts. Suche jeweils die vollständige Bytefolge eines Tabellenzeichens. Danach gehst du beim nächsten Byte weiter. In dieser Tabelle beginnt keine längere Bytefolge mit der vollständigen Bytefolge eines anderen Tabellenzeichens. Dadurch ist die Aufteilung eindeutig.

Alle Byteangaben sind weiterhin hexadezimal. Zwei Ziffern schreiben ein Byte. Die Leerzeichen zwischen den Byteangaben helfen beim Lesen. Sie stehen hier nicht für gespeicherte Leerzeichen im Text.

Falsch decodiert: Die gespeicherten Bytes können stimmen, während ein Programm sie mit der falschen Codierung liest. Dann ordnet es ihnen falsche Zeichen zu oder ersetzt etwas. Das Ersetzungszeichen „�“ kann zum Beispiel erscheinen, wenn eine Bytefolge beim Lesen nicht als gültiges UTF-8 verstanden wird. Das Zeichen „�“ allein beweist aber keine bestimmte Ursache.

Zeichen nicht enthalten: Eine Codierung kann ein benötigtes Zeichen gar nicht anbieten. ASCII kennt zum Beispiel „ä“, „Ω“, „€“ und „𝄞“ nicht. Soll eines dieser Zeichen unverändert als ASCII gespeichert werden, liegt das Problem bereits beim Codieren. Eine andere Schriftart ergänzt keinen fehlenden ASCII-Code.

Zeichenbild fehlt: Die Bytes können richtig gespeichert und richtig decodiert sein. Trotzdem kann der verwendeten Schriftart das Bild für ein Zeichen fehlen. Dann erscheint oft ein Kästchen, manchmal auch ein anderes Ersatzbild oder eine leere Stelle. Eine Schriftart mit dem benötigten Zeichenbild kann diese Ursache beheben.

Ein Kästchen, ein Fragezeichen oder „�“ genügt nicht, um die Ursache sicher festzustellen. Prüfe zusätzliche Angaben zum Speichern, zum Decodieren und zur Schriftart. Es gibt weitere Ursachen für Darstellungsprobleme; hier unterscheiden wir diese drei.