Символы частного использования
PRIVATE USE AREA (U+E000-U+F8FF)
Кодовые позиции, которым Unicode никогда не назначит значения: они отданы под частные договорённости между шрифтом и программой. U+E000-U+F8FF плюс две большие дополнительные плоскости.
- Диапазон
U+E000-U+F8FF- Другие записи
ue000-uf8ff- Категория
- Символы частного использования
- Удаляется по умолчанию
- Нет
- Управляющий параметр
- Символы частного использования
--pua - Может нести нагрузку
- Нет
Кнопки «скопировать и вставить» на этой странице нет, и это сделано намеренно: здесь описан целый блок символов, и ни один из них не нужно вставлять по отдельности.
Откуда он берётся
Иконочные шрифты (Font Awesome и его родня раскладывают свои глифы именно здесь), фирменные логотипы Apple и Microsoft, кодировки ConScript для искусственных письменностей и текст, скопированный из программ с частным шрифтом.
Почему это важно
То, что один шрифт рисует галочкой, другой рисует пустым прямоугольником, а экранный диктор не читает никак. Смысл живёт в шрифте, поэтому текст читаем только там, где этот шрифт установлен, а в любом другом месте символ частного использования становится каналом, невидимым на практике.
До и после
Кодовая позиция частного использования. В нужном шрифте это иконка, а везде ещё прямоугольник или ничто.
Символ показан подписанной плашкой, чтобы было видно, где он стоит. В вашем тексте он не рисует ровно ничего.
Когда он уместен
Внутри программы, которая поставляется с нужным шрифтом, и в научных кодировках письменностей, которые Unicode не стандартизовал.
Как его удалить
Включите параметр «Символы частного использования» (`--pua`). По умолчанию он выключен, потому что в иконочном шрифте эти символы и есть содержимое.
Текст лежит в файле, а не в буфере обмена? Отчёт по документу для .docx, .odt и .html находит символ внутри файла вместе со скрытыми фрагментами и исправлениями, и открывать файл для этого не нужно. Если вопрос в том, что делает остальной текст, а не этот один символ, можно измерить разброс длины предложений и увидеть, где проявляется каждая привычка: без баллов и без утверждений о том, кто написал текст.
Это водяной знак ИИ?
Не водяной знак
Нет. Позиции частного использования приходят из иконочных шрифтов и специализированных кодировок. Любой их смысл задаёт договорённость между шрифтом и программой, а не модель.
Никак не связан с машинно сгенерированным текстом. Он приходит из программы, с клавиатуры или от человека.
Вопросы
Не сломает ли это мои иконки?
Сломает, поэтому параметр `--pua` по умолчанию выключен. Если ваш текст это подписи интерфейса с глифами иконочного шрифта, не включайте его.
Какие диапазоны считаются?
U+E000-U+F8FF в основной плоскости плюс плоскости 15 и 16 (U+F0000-U+FFFFD и U+100000-U+10FFFD). Ghostchars определяет их по юникодной категории, так что покрыты все три.
Проверьте свой текст
Вставьте что угодно в инструмент очистки, чтобы увидеть каждый скрытый символ: позицию, кодовую позицию и то, что произойдёт с каждым из них. Ничего никуда не отправляется.
Проверьте свой текстОчищать в Chrome прямо при вставкеОчищать на Mac одной комбинацией клавишВсе символы