Управляющие символы
C1 CONTROL CHARACTERS (U+0080–U+009F)
Второй блок из 32 управляющих кодов, унаследованный от ISO 8859. В Unicode это управляющие символы; в Windows-1252 те же значения байтов — типографские кавычки, длинное тире и знак евро.
- Диапазон
U+0080–U+009F- Категория
- Управляющие символы
- Удаляется по умолчанию
- Нет
- Управляющий параметр
- Управляющие символы
--controls - Может нести нагрузку
- Нет
Откуда он берётся
Почти всегда из декодирования файла Windows-1252 так, будто это Latin-1 или UTF-8. Поэтому управляющие символы C1 и кракозябры ходят парой.
Почему это важно
Их присутствие — надёжный признак того, что где-то выше по конвейеру сорвался шаг с кодировкой, и текст может быть повреждён так, что чистка этого уже не исправит.
До и после
В Windows-1252 по адресам U+0093 и U+0094 лежат типографские кавычки. Прочитанные как Unicode, это управляющие символы.
Символ показан подписанной плашкой, чтобы было видно, где он стоит. В вашем тексте он не рисует ровно ничего.
Когда он уместен
В современном тексте — по сути никогда. Любое вхождение стоит проследить до того шага с кодировкой, который его породил.
Как его удалить
Включите параметр «Управляющие символы» (`--controls`). U+0085 NEXT LINE намеренно исключён: это разрыв строки, и он относится к параметру `-n`.
Это водяной знак ИИ?
Не водяной знак
Нет. Управляющие символы C1 — случайность кодировки. Если вы их видите, ищите неправильно декодированный файл, а не скрытое сообщение.
Никак не связан с машинно сгенерированным текстом. Он приходит из программы, с клавиатуры или от человека.
Вопросы
Значит ли их присутствие, что файл испорчен?
Обычно да. Управляющие символы C1 в тексте почти всегда означают, что файл Windows-1252 прочитали как что-то другое. Починить декодирование лучше, чем удалять символы.
Почему U+0085 сюда не входит?
Потому что он значит «следующая строка». Его удаление склеило бы две строки, поэтому параметр `-n` сворачивает его в перевод строки.
Проверьте свой текст
Вставьте что угодно в инструмент очистки, чтобы увидеть каждый скрытый символ: позицию, кодовую позицию и то, что произойдёт с каждым из них. Ничего никуда не отправляется.