Разделители строк
NEXT LINE (U+0085)
NEL, управляющий символ C1 со значением «начать новую строку». Он пришёл из EBCDIC, где был символом перевода строки.
- Кодовая позиция
U+0085- Категория
- Разделители строк
- Удаляется по умолчанию
- Нет
- Управляющий параметр
- Концы строк
-n - Может нести нагрузку
- Нет
Откуда он берётся
Данные с мейнфреймов, преобразование EBCDIC в ASCII, часть инструментов XML (спецификация XML требует считать NEL концом строки) и неправильно декодированный Windows-1252.
Почему это важно
В одних инструментах это разрыв строки, в других — невидимый управляющий символ, в третьих он вырезается как управляющий. Две программы, читая один файл, могут разойтись в том, сколько в нём строк.
До и после
Перевод строки из другой эпохи, невидимый для большинства современных инструментов.
Символ показан подписанной плашкой, чтобы было видно, где он стоит. В вашем тексте он не рисует ровно ничего.
Когда он уместен
В данных, пришедших с мейнфрейма, и внутри XML, где он является оговорённым концом строки.
Как его удалить
Включите параметр «Концы строк» (`-n`) — и он станет обычным LF. Обратите внимание: параметр «Управляющие символы» его НЕ удаляет — Ghostchars относит его к разрывам строк, а не к управляющим символам, потому что именно это он и значит.
Это водяной знак ИИ?
Не водяной знак
Нет. NEL — артефакт преобразования кодировок, чаще всего из EBCDIC или из неправильно декодированного файла Windows-1252.
Никак не связан с машинно сгенерированным текстом. Он приходит из программы, с клавиатуры или от человека.
Вопросы
Почему параметр «Управляющие символы» его не удаляет?
Потому что удаление разрыва строки склеило бы две строки. Его место рядом с остальными концами строк, под параметром `-n`, который сворачивает его в LF.
XML правда его требует?
Да: обработчик XML обязан привести NEL к переводу строки — поэтому он и проходит невредимым через столько конвейеров.
Проверьте свой текст
Вставьте что угодно в инструмент очистки, чтобы увидеть каждый скрытый символ: позицию, кодовую позицию и то, что произойдёт с каждым из них. Ничего никуда не отправляется.