Типографская пунктуация
RIGHT SINGLE QUOTATION MARK (U+2019)
Закрывающая типографская одиночная кавычка — и одновременно правильный апостроф: в английском don’t и it’s, в русском Кот-д’Ивуар и д’Артаньян.
- Кодовая позиция
U+2019- Категория
- Типографская пунктуация
- Удаляется по умолчанию
- Нет
- Управляющий параметр
- Пунктуация
--punct - Может нести нагрузку
- Нет
Откуда он берётся
Умные кавычки в любом текстовом процессоре и любой CMS, обработка Markdown в режиме smartypants и любой текст, прошедший через издательский конвейер.
Почему это важно
Это другая кодовая позиция, не ASCII-апостроф, поэтому «д’Артаньян» с типографским знаком и «д'Артаньян» с прямым это две разные строки. Такое ломает поиск, дедупликацию и сравнение версий, и на этом же построена опубликованная стеганографическая схема, кодирующая биты чередованием прямых и типографских апострофов.
До и после
Два апострофа, которых не различит ни один читатель и не спутает ни один компьютер.
Символ показан подписанной плашкой, чтобы было видно, где он стоит. В вашем тексте он не рисует ровно ничего.
Когда он уместен
В свёрстанной прозе, где это правильный апостроф и правильная закрывающая кавычка. Прямой ASCII-апостроф — компромисс, доставшийся от пишущей машинки.
Как его удалить
Включите параметр «Пунктуация» (`--punct`) — и каждая типографская кавычка (одиночная, двойная, открывающая, закрывающая, а также нижние немецкие) станет прямым эквивалентом ASCII.
Это водяной знак ИИ?
Встречается в выводе ИИ — но не водяной знак
Вывод моделей обычно типографски грамотен, поэтому типографские апострофы в нём есть. Как и в каждой книге, каждой газете и каждом документе, набранном в текстовом процессоре с 1995 года. Это свойство конвейера, а не отметка авторства, — а единственное по-настоящему подозрительное применение это роль носителя в стеганографии, где смотреть надо на необычную СМЕСЬ прямых и типографских апострофов в одном документе.
Он действительно попадается в выводе моделей — как обычная типографика, усвоенная из обучающих данных. Это не намеренно, не задумано как обнаружимое и ничего не доказывает про отдельный документ.
Вопросы
Почему поиск по фамилии с апострофом её не находит?
Потому что в тексте стоит U+2019, а в вашем запросе — U+0027. Нормализация параметром «Пунктуация» приводит обе стороны к одному виду.
Как апострофами прячут данные?
Прямой — ноль, типографский — единица, по биту на апостроф. Текст читается как обычно; сигналом служит сама непоследовательность. Параметр «Пунктуация» приводит их все к одному виду и уничтожает канал.
Проверьте свой текст
Вставьте что угодно в инструмент очистки, чтобы увидеть каждый скрытый символ: позицию, кодовую позицию и то, что произойдёт с каждым из них. Ничего никуда не отправляется.