Символы частного использования
PRIVATE USE AREA (U+E000–U+F8FF)
Кодовые позиции, которым Unicode никогда не назначит значения: они отданы под частные договорённости между шрифтом и программой. U+E000–U+F8FF плюс две большие дополнительные плоскости.
- Диапазон
U+E000–U+F8FF- Категория
- Символы частного использования
- Удаляется по умолчанию
- Нет
- Управляющий параметр
- Символы частного использования
--pua - Может нести нагрузку
- Нет
Откуда он берётся
Иконочные шрифты (Font Awesome и его родня раскладывают свои глифы именно здесь), фирменные логотипы Apple и Microsoft, кодировки ConScript для искусственных письменностей и текст, скопированный из программ с частным шрифтом.
Почему это важно
То, что один шрифт рисует галочкой, другой рисует пустым прямоугольником, а экранный диктор не читает никак. Смысл живёт в шрифте, поэтому текст читаем только там, где этот шрифт установлен, — а в любом другом месте символ частного использования становится каналом, невидимым на практике.
До и после
Кодовая позиция частного использования. В нужном шрифте это иконка, везде ещё — прямоугольник или ничто.
Символ показан подписанной плашкой, чтобы было видно, где он стоит. В вашем тексте он не рисует ровно ничего.
Когда он уместен
Внутри программы, которая поставляется с нужным шрифтом, и в научных кодировках письменностей, которые Unicode не стандартизовал.
Как его удалить
Включите параметр «Символы частного использования» (`--pua`). По умолчанию он выключен, потому что в иконочном шрифте эти символы и есть содержимое.
Это водяной знак ИИ?
Не водяной знак
Нет. Позиции частного использования приходят из иконочных шрифтов и специализированных кодировок. Любой их смысл — договорённость между шрифтом и программой, а не след модели.
Никак не связан с машинно сгенерированным текстом. Он приходит из программы, с клавиатуры или от человека.
Вопросы
Не сломает ли это мои иконки?
Сломает — поэтому параметр `--pua` по умолчанию выключен. Если ваш текст это подписи интерфейса с глифами иконочного шрифта, не включайте его.
Какие диапазоны считаются?
U+E000–U+F8FF в основной плоскости плюс плоскости 15 и 16 (U+F0000–U+FFFFD и U+100000–U+10FFFD). Ghostchars определяет их по юникодной категории, так что покрыты все три.
Проверьте свой текст
Вставьте что угодно в инструмент очистки, чтобы увидеть каждый скрытый символ: позицию, кодовую позицию и то, что произойдёт с каждым из них. Ничего никуда не отправляется.