Указатель скрытых символов
Каждая кодовая позиция со своей страницей: для чего она нужна, откуда берётся, когда делает настоящую работу и удаляет ли её базовый проход.
49 символов описано
Сгруппировано по категории, о которой сообщает движок. Внутри категории параметр, удаляющий символ, одинаков для всех строк.
Нулевая ширина и невидимые
Управляющий параметр Базовый проход (всегда включено)
| Код | Имя | Базовый проход |
|---|---|---|
| U+200B | ZERO WIDTH SPACEПробел без ширины. Он занимает место в строке, отмечает точку, где допустим перенос, и не рисует ровно ничего. | Да |
| U+2060 | WORD JOINERПротивоположность пробелу нулевой ширины: невидимый символ, который запрещает перенос строки в своей позиции и не добавляет никакой ширины. | Да |
| U+00AD | SOFT HYPHENУсловный перенос. Он невидим до тех пор, пока строка не разорвётся ровно в этом месте, и тогда на нём появляется дефис. | Да |
| U+FEFF | ZERO WIDTH NO-BREAK SPACEufeff, он же U+FEFF, это метка порядка байтов, то есть BOM. В самом начале файла она объявляет кодировку; в любом другом месте это невидимое неразрывное ничто, применение которого Unicode считает устаревшим начиная с версии 3.2. | Да |
| U+2061 | FUNCTION APPLICATIONНевидимый математический оператор со значением «применить функцию к аргументу»: то самое молчаливое действие между f и (x). | Да |
| U+2062 | INVISIBLE TIMESНевидимый знак умножения: тот самый оператор, который подразумевают, когда пишут «2x», а имеют в виду «2 умножить на x». | Да |
| U+2063 | INVISIBLE SEPARATORНевидимая запятая, U+2063 INVISIBLE SEPARATOR: разделитель между индексами в записи вроде aij. | Да |
| U+2064 | INVISIBLE PLUSНевидимый знак сложения, который ставят между частями смешанного числа: то самое «и» в «один и одна вторая». | Да |
| U+034F | COMBINING GRAPHEME JOINERКомбинирующий знак нулевой ширины, который существует, чтобы менять порядок сортировки двух символов, а не их вид. Он не рисуется никогда. | Да |
| U+180E | MONGOLIAN VOWEL SEPARATORМонгольский орфографический управляющий символ, который в Unicode 6.3 переклассифицировали: раньше он был пробелом, а теперь это форматирующий символ нулевой ширины. | Да |
| U+2800 | BRAILLE PATTERN BLANKБрайлевская ячейка, в которой не поднята ни одна точка. Это печатный символ с настоящей шириной, но не рисующий ничего. | Да |
| U+3164 | HANGUL FILLERСовместимостный символ хангыля без начертания, которым исторически заполняли пустое место в корейском слоговом блоке. | Да |
| U+FDD0-U+FDEF | NONCHARACTERSКодовые позиции, которые Unicode навсегда зарезервировал так, чтобы они никогда не стали символами: U+FDD0-U+FDEF и две последние позиции каждой плоскости (U+FFFE, U+FFFF, U+1FFFE и так далее). | Да |
Переопределения направления
Управляющий параметр Базовый проход (всегда включено)
| Код | Имя | Базовый проход |
|---|---|---|
| U+202E | RIGHT-TO-LEFT OVERRIDEНевидимый управляющий символ, который заставляет выкладывать все последующие символы справа налево, независимо от того, к какой письменности они относятся. | Да |
| U+202D | LEFT-TO-RIGHT OVERRIDEЗеркальное отражение U+202E: заставляет выкладывать всё последующее слева направо, перекрывая естественное направление иврита или арабского. | Да |
| U+202A | LEFT-TO-RIGHT EMBEDDINGОткрывает фрагмент с направлением слева направо внутри окружающего текста и держит его, пока не закроет парный POP DIRECTIONAL FORMATTING. | Да |
| U+202B | RIGHT-TO-LEFT EMBEDDINGОткрывает фрагмент с направлением справа налево внутри окружающего текста и держит его, пока не закроет парный POP DIRECTIONAL FORMATTING. | Да |
| U+202C | POP DIRECTIONAL FORMATTINGЗакрывает последнее открытое вложение или переопределение. Сам по себе не делает ничего; в паре завершает фрагмент с заданным направлением. | Да |
Метки направления
Управляющий параметр Bidi-метки --bidi
| Код | Имя | Базовый проход |
|---|---|---|
| U+200E | LEFT-TO-RIGHT MARKНевидимый символ нулевой ширины с сильным направлением слева направо. Он снимает двусмысленность в смешанном тексте, сам ничего не переставляя. | Если одиночный |
| U+200F | RIGHT-TO-LEFT MARKЗеркальное отражение U+200E: невидимый символ с сильным направлением справа налево, который снимает двусмысленность в тексте со смешанным направлением. | Если одиночный |
| U+061C | ARABIC LETTER MARKНевидимая метка с направлением арабской буквы, добавленная в Unicode 6.3 для случаев, когда метки справа налево оказывается недостаточно. | Если одиночный |
| U+2066-U+2069 | BIDIRECTIONAL ISOLATESЧетыре невидимых управляющих символа (LRI, RLI, FSI и PDI), которые обёртывают фрагмент так, чтобы его направление не протекало в соседний текст. Это современная замена символам вложения и переопределения. | Если одиночный |
Соединители, селекторы и заполнители
Управляющий параметр Агрессивно -a
| Код | Имя | Базовый проход |
|---|---|---|
| U+200D | ZERO WIDTH JOINERНевидимый символ, который просит нарисовать двух соседей как одно целое. Именно он превращает трёх отдельных человечков в эмодзи семьи и связывает арабские и индийские буквы, которые иначе стояли бы порознь. | Если одиночный |
| U+200C | ZERO WIDTH NON-JOINERПротивоположность соединителю: невидимый символ, который запрещает рисовать двух соседей одной связной формой. | Если одиночный |
| U+FE00-U+FE0F | VARIATION SELECTORSШестнадцать невидимых модификаторов, которые выбирают, в какой из нескольких форм показать предыдущий символ. VS15 (U+FE0E) просит чёрно-белую текстовую форму, VS16 (U+FE0F) просит цветную эмодзи. | Если одиночный |
| U+E0000-U+E007F | TAG CHARACTERSТеневая копия ASCII. U+E0020-U+E007E повторяют печатные символы ASCII один в один и не рисуют ничего. U+E007F CANCEL TAG завершает последовательность. | Если одиночный |
| U+180B-U+180D | MONGOLIAN FREE VARIATION SELECTORSТри невидимых селектора (FVS1-FVS3), которые выбирают позиционную форму монгольской буквы, когда начертание по умолчанию слову не подходит. | Если одиночный |
| U+17B4-U+17B5 | KHMER INHERENT VOWELSДва невидимых кхмерских гласных знака, AQ и AA, которые записывают гласную, обычно подразумеваемую, а не пишущуюся. | Если одиночный |
| U+115F-U+1160 | HANGUL JAMO FILLERSДва заполнителя нулевой ширины, U+115F HANGUL CHOSEONG FILLER и U+1160 HANGUL JUNGSEONG FILLER, которые занимают место отсутствующей начальной согласной или срединной гласной, когда корейский слоговой блок записан отдельными чамо. В обиходе их называют просто choseong filler и jungseong filler. | Если одиночный |
Символы частного использования
Управляющий параметр Символы частного использования --pua
| Код | Имя | Базовый проход |
|---|---|---|
| U+E000-U+F8FF | PRIVATE USE AREAКодовые позиции, которым Unicode никогда не назначит значения: они отданы под частные договорённости между шрифтом и программой. U+E000-U+F8FF плюс две большие дополнительные плоскости. | Нет |
Экзотические пробелы
Управляющий параметр Пробелы -s
| Код | Имя | Базовый проход |
|---|---|---|
| U+00A0 | NO-BREAK SPACEПробел, который запрещает перенос строки. Выглядит он в точности как обычный пробел и при этом является совершенно другой кодовой позицией. | Нет |
| U+202F | NARROW NO-BREAK SPACEБолее узкий неразрывный пробел, примерно вдвое уже обычного, для случаев, когда полный пробел смотрится слишком широко. | Нет |
| U+205F | MEDIUM MATHEMATICAL SPACEПробел шириной в четыре восемнадцатых эма, определённый для математического набора: зазор вокруг бинарного оператора. | Нет |
| U+3000 | IDEOGRAPHIC SPACEПолноширинный пробел, ровно такой же ширины, как иероглиф. Это пробел на японском, китайском или корейском методе ввода в полноширинном режиме. | Нет |
| U+1680 | OGHAM SPACE MARKРазделитель слов огамического письма. Необычно для пробела, в большинстве огамических шрифтов он рисуется короткой чертой, а во всех остальных остаётся пустым. | Нет |
| U+2000-U+200A | GENERAL PUNCTUATION SPACESОдиннадцать типографских пробелов фиксированной ширины: en quad, em quad, полукруглая и круглая шпации, пробелы в треть, четверть и шестую часть эма, цифровой пробел, пунктуационный пробел, тонкий и волосяной пробелы. | Нет |
Разделители строк
Управляющий параметр Концы строк -n
| Код | Имя | Базовый проход |
|---|---|---|
| U+2028 | LINE SEPARATORСобственный юникодный символ «здесь новая строка», отличный от перевода строки ASCII. Он заканчивает строку, но не абзац. | Нет |
| U+2029 | PARAGRAPH SEPARATORЮникодный разрыв абзаца: напарник U+2028 уровнем выше, там же и с той же историей. | Нет |
| U+0085 | NEXT LINENEL, управляющий символ C1 со значением «начать новую строку». Он пришёл из EBCDIC, где был символом перевода строки. | Нет |
Управляющие символы
Управляющий параметр Управляющие символы --controls
| Код | Имя | Базовый проход |
|---|---|---|
| U+0000-U+001F | C0 CONTROL CHARACTERS32 управляющих кода ASCII: NUL, BEL, ESC, разделители файлов и записей и все остальные. Это команды телетайпу, а не текст. | Нет |
| U+0080-U+009F | C1 CONTROL CHARACTERSВторой блок из 32 управляющих кодов, унаследованный от ISO 8859. В Unicode это управляющие символы; а в Windows-1252 те же значения байтов дают типографские кавычки, длинное тире и знак евро. | Нет |
Типографская пунктуация
Управляющий параметр Пунктуация --punct
| Код | Имя | Базовый проход |
|---|---|---|
| U+2013 | EN DASHТире средней длины для диапазонов и некоторых отношений в редакционной типографике. | Нет |
| U+2014 | EM DASHДлинное тире шириной в эм. Оно выделяет вставную конструкцию или отмечает обрыв речи там, где запятая прозвучала бы слишком тихо. | Нет |
| U+2019 | RIGHT SINGLE QUOTATION MARKЗакрывающая типографская одиночная кавычка, она же правильный апостроф: в английском don’t и it’s, в русском Кот-д’Ивуар и д’Артаньян. | Нет |
| U+2026 | HORIZONTAL ELLIPSISТри точки одним символом, с более плотными промежутками, чем у трёх точек подряд, и без всякой возможности разорвать строку внутри. | Нет |
Буквы-двойники
Управляющий параметр Буквы-двойники --confusables
| Код | Имя | Базовый проход |
|---|---|---|
| U+0430 | CYRILLIC SMALL LETTER AКириллическая буква «а». Почти в любом шрифте она нарисована в точности как латинская a, но остаётся совершенно другой кодовой позицией. | Нет |
| U+043E | CYRILLIC SMALL LETTER OКириллическая буква «о», нарисованная в точности как латинская o в любом ходовом шрифте. | Нет |
| U+0435 | CYRILLIC SMALL LETTER IEКириллическая буква «е», нарисованная в точности как латинская e. | Нет |
| U+0441 | CYRILLIC SMALL LETTER ESКириллическая буква «с», нарисованная в точности как латинская c. | Нет |