Управляющие символы
C1 CONTROL CHARACTERS (U+0080-U+009F)
Второй блок из 32 управляющих кодов, унаследованный от ISO 8859. В Unicode это управляющие символы; а в Windows-1252 те же значения байтов дают типографские кавычки, длинное тире и знак евро.
- Диапазон
U+0080-U+009F- Другие записи
u0080-u009f- Категория
- Управляющие символы
- Удаляется по умолчанию
- Нет
- Управляющий параметр
- Управляющие символы
--controls - Может нести нагрузку
- Нет
Кнопки «скопировать и вставить» на этой странице нет, и это сделано намеренно: здесь описан целый блок символов, и ни один из них не нужно вставлять по отдельности.
Откуда он берётся
Почти всегда из декодирования файла Windows-1252 так, будто это Latin-1 или UTF-8. Поэтому управляющие символы C1 и кракозябры ходят парой.
Почему это важно
Их присутствие надёжно указывает, что где-то выше по конвейеру сорвался шаг с кодировкой, и текст может быть повреждён так, что чистка этого уже не исправит.
До и после
В Windows-1252 по адресам U+0093 и U+0094 лежат типографские кавычки. Прочитанные как Unicode, это управляющие символы.
Символ показан подписанной плашкой, чтобы было видно, где он стоит. В вашем тексте он не рисует ровно ничего.
Когда он уместен
В современном тексте по сути никогда. Любое вхождение стоит проследить до того шага с кодировкой, который его породил.
Как его удалить
Включите параметр «Управляющие символы» (`--controls`). U+0085 NEXT LINE намеренно исключён: это разрыв строки, и он относится к параметру `-n`.
Текст лежит в файле, а не в буфере обмена? Отчёт по документу для .docx, .odt и .html находит символ внутри файла вместе со скрытыми фрагментами и исправлениями, и открывать файл для этого не нужно. Если вопрос в том, что делает остальной текст, а не этот один символ, можно измерить разброс длины предложений и увидеть, где проявляется каждая привычка: без баллов и без утверждений о том, кто написал текст.
Это водяной знак ИИ?
Не водяной знак
Нет. Управляющие символы C1 остаются случайностью кодировки. Если вы их видите, ищите неправильно декодированный файл, а не скрытое сообщение.
Никак не связан с машинно сгенерированным текстом. Он приходит из программы, с клавиатуры или от человека.
Вопросы
Значит ли их присутствие, что файл испорчен?
Обычно да. Управляющие символы C1 в тексте почти всегда означают, что файл Windows-1252 прочитали как что-то другое. Починить декодирование лучше, чем удалять символы.
Почему U+0085 сюда не входит?
Потому что он значит «следующая строка». Его удаление склеило бы две строки, поэтому параметр `-n` сворачивает его в перевод строки.
Проверьте свой текст
Вставьте что угодно в инструмент очистки, чтобы увидеть каждый скрытый символ: позицию, кодовую позицию и то, что произойдёт с каждым из них. Ничего никуда не отправляется.
Проверьте свой текстОчищать в Chrome прямо при вставкеОчищать на Mac одной комбинацией клавишВсе символы