Нулевая ширина и невидимые
SOFT HYPHEN (U+00AD)
Условный перенос. Он невидим до тех пор, пока строка не разорвётся ровно в этом месте, — и тогда на нём появляется дефис.
- Кодовая позиция
U+00AD- Категория
- Нулевая ширина и невидимые
- Удаляется по умолчанию
- Да
- Управляющий параметр
- Параметр не нужен
- Может нести нагрузку
- Нет
Откуда он берётся
Текстовые процессоры и системы вёрстки с автоматической расстановкой переносов записывают их прямо в текст. Немецкие и нидерландские документы набирают их сотнями. Ещё они приходят из извлечения текста из PDF, где дефис на конце строки сохраняется как U+00AD.
Почему это важно
Он сидит внутри слов и потому молча ломает поиск, сортировку, проверку орфографии и дедупликацию: «словообразование» — это не «словообразование». А поскольку внутри длинного слова его как раз и ждут, в немецком, финском или русском тексте он прячется лучше, чем когда-либо смог бы пробел нулевой ширины.
До и после
Мягкий перенос рисует себя, только если строка случайно разорвётся на нём. В остальное время это дыра в слове, которую видит одна лишь программа.
Символ показан подписанной плашкой, чтобы было видно, где он стоит. В вашем тексте он не рисует ровно ничего.
Когда он уместен
Внутри длинного слова в колонке с выключкой по формату, когда вы хотите сами решать, где допустим перенос. В вебе браузеры переносят средствами CSS, и этот символ обычно остаётся в наследство от более старого процесса.
Как его удалить
Его удаляет базовый проход. Если подсказки о переносах вам действительно нужны, храните исходный документ и чистите только выгруженный из него текст.
Это водяной знак ИИ?
Не водяной знак
Нет. Мягкие переносы приходят из вёрстки и из разбора PDF. Модель, обученная на текстах с переносами, способна воспроизвести такой символ, и это улика конвейера обработки документов, а не авторства.
Никак не связан с машинно сгенерированным текстом. Он приходит из программы, с клавиатуры или от человека.
Вопросы
Почему я не вижу его в редакторе?
Потому что он ничего не рисует, пока строка не разорвётся в этой позиции. Большинство редакторов показывают его только при включённом отображении невидимых символов.
Почему после копирования из PDF текст полон этих символов?
PDF свёрстан с переносами, и при извлечении каждый из них сохранился как мягкий перенос. Чистка возвращает слова целиком.
Проверьте свой текст
Вставьте что угодно в инструмент очистки, чтобы увидеть каждый скрытый символ: позицию, кодовую позицию и то, что произойдёт с каждым из них. Ничего никуда не отправляется.