Was Ghostchars erkennt

Zeichen ohne Glyphe und ohne Breite, die in Fließtext überall Schmuggelware sind: Leerzeichen ohne Breite, Wortverbinder, weiches Trennzeichen, Byte Order Mark, die vier unsichtbaren Mathe-Operatoren, veraltete Formatsteuerzeichen, die Marken für Interlinearanmerkungen, die Steuerzeichen der Notenschrift und Unicodes dauerhaft reservierte Nichtzeichen.

Die fünf Einbettungs- und Override-Steuerzeichen. Sie ordnen Text um, der ihnen nicht gehört; so lässt sich ein Dateiname als etwas anzeigen, das er nicht ist. Es gibt keinen Kontext, in dem Ghostchars eines davon behält.

Hinweise auf die Laufrichtung: die Marken für links-nach-rechts und rechts-nach-links, die arabische Buchstabenmarke und die vier Isolate. Neben Text von rechts nach links lösen sie echte Mehrdeutigkeit auf und bleiben; in einem deutschen Absatz sind sie unsichtbare Füllung und ein veröffentlichter Steganografie-Träger, und sie fliegen raus.

Unsichtbare Zeichen, die sich an das Zeichen davor oder danach binden: Verbinder und Trenner ohne Breite, Variantenselektoren, Tag-Zeichen sowie die schriftspezifischen Füllzeichen des Mongolischen, des Khmer und des Hangul. Behalten, wenn ihre Nachbarn sie tragend machen, entfernt, wenn sie frei stehen.

Die Auffangregel. Jedes verbleibende Zeichen, dessen allgemeine Unicode-Kategorie Cf ist, wird entfernt; so wird auch ein Formatsteuerzeichen aus einer künftigen Unicode-Version ohne Codeänderung erwischt. Die orthografischen Ausnahmen (die arabischen Zahlzeichen, das syrische Abkürzungszeichen, das Kaithi-Zahlzeichen) greifen vorher und bleiben unangetastet.

Wird über eine Unicode-Eigenschaft erkannt statt über eine Liste; es gibt also keine feste Menge an Codepoints zum Aufzählen.

Codepoints, die Unicode nie vergeben wird und deren Bedeutung eine private Absprache zwischen einer Schriftart und einer Anwendung ist. Hier leben Icon-Schriften, und genau deshalb muss ihr Entfernen eigens eingeschaltet werden: In Oberflächentexten sind sie der Inhalt.

Leerzeichen, die nicht U+0020 sind: das geschützte, das schmale und das mittlere, das ideografische, das Ogham-Leerzeichen und die elf typografischen Leerzeichen mit fester Breite. Sie werden durch ein gewöhnliches Leerzeichen ersetzt statt gelöscht, weil sie Wörter trennen.

Die Zeilen- und Absatztrenner von Unicode und das aus EBCDIC stammende NEL. Sie werden zu einem einfachen Zeilenvorschub gefaltet statt gelöscht; sie zu löschen würde zwei Zeilen zusammenziehen.

Die C0- und C1-Steuercodes, ohne Tabulator, Zeilenvorschub und Wagenrücklauf. Wenn sie in Text auftauchen, steckt meist ein Dekodierunfall oder eine gezielte Sondierung dahinter.

Typografische Anführungszeichen, Geviert- und Halbgeviertstrich, Auslassungspunkte, Minuszeichen und die Primzeichen. Hier ist nichts versteckt, das sind sichtbare Zeichen, aber es sind andere Codepoints als ihre ASCII-Formen, und die Wahl zwischen gerade und typografisch ist ein veröffentlichter Kanal mit einem Bit pro Apostroph.

Der Balken, den ein Terminal links neben ein Zitat zeichnet und der beim Kopieren als Text am Anfang jeder Zeile mitkommt. Ein Balken zählt nur, wenn er seine Zeile eröffnet und dasselbe Zeichen später in der Zeile nicht noch einmal vorkommt, deshalb bleibt eine mit Rahmenzeichen gezeichnete Tabelle unberührt. Er fällt samt dem einen Leerzeichen danach weg. Nur auf Wunsch, weil ein im Terminal ausgegebener Ordnerbaum seine Zeilen mit demselben Balken beginnt.

Kyrillische, griechische, armenische, Cherokee-, Vollbreiten- und mathematische Buchstaben, die genauso gezeichnet werden wie lateinische. Die Zuordnung hat 1.513 Einträge, erzeugt aus Unicodes eigenen Confusables-Daten, und einer zählt nur innerhalb eines Wortes, das Schriftsysteme mischt: einer Folge von Buchstaben, die auch einen ASCII-Buchstaben oder eine Ziffer enthält, wie »аpple«. Ein rein kyrillisches oder griechisches Wort wird nie gemeldet und nie verändert. Trotzdem muss man sie einschalten, denn sie verändert Buchstaben, die du sehen kannst.