Буквы-двойники
CYRILLIC SMALL LETTER A (U+0430)
Кириллическая буква «а». Почти в любом шрифте она нарисована в точности как латинская a, но остаётся совершенно другой кодовой позицией.
- Кодовая позиция
U+0430- Другие записи
u0430\u0430а- Категория
- Буквы-двойники
- Удаляется по умолчанию
- Нет
- Управляющий параметр
- Буквы-двойники
--confusables - Может нести нагрузку
- Нет
Скопировать и вставить U+0430
Чтобы скопировать и вставить CYRILLIC SMALL LETTER A (U+0430), нажмите кнопку: в буфер обмена попадёт сам символ, а Ctrl+V (Cmd+V на Mac) вставит его в любое место, где можно печатать.
Откуда он берётся
Разумеется, из русского, украинского, болгарского и сербского текста. В латинских словах она берётся из забытой кириллической раскладки, из копирования смешанного текста и из намеренной подмены: подделки доменов, обхода фильтров и омоглифной стеганографии, которая кодирует биты заменой латинских букв на двойников.
Почему это важно
Одна подменённая буква ломает любую проверку на точное совпадение, оставаясь невидимой для читателя. Так регистрируется «pаypal.com», так запрещённое слово проскакивает мимо фильтра, так внутри слова хранится скрытый бит.
До и после
Одна кириллическая буква в остальном латинском слове. Отрисовка одинакова, а строка нет.
Символ показан подписанной плашкой, чтобы было видно, где он стоит. В вашем тексте он не рисует ровно ничего.
Когда он уместен
В русском, украинском, болгарском, сербском и любом другом языке с кириллическим письмом, то есть в очень большом количестве совершенно обычного текста.
Как его удалить
Включите параметр «Буквы-двойники» (`--confusables`), и она станет латинской «a», но только внутри слова со смешанной письменностью: такого, где вместе с двойником есть хотя бы одна ASCII-буква или цифра, как в «аpple» или «pаypal». В слове, целиком написанном кириллицей, она не станет находкой и не будет тронута, так что обычный русский текст этот параметр не заденет. Он всё равно включается вручную, потому что меняет буквы, которые вы видите.
Текст лежит в файле, а не в буфере обмена? Отчёт по документу для .docx, .odt и .html находит символ внутри файла вместе со скрытыми фрагментами и исправлениями, и открывать файл для этого не нужно. Если вопрос в том, что делает остальной текст, а не этот один символ, можно посчитать слова и обороты-приметы на тысячу слов и увидеть, где проявляется каждая привычка: без баллов и без утверждений о том, кто написал текст.
Это водяной знак ИИ?
Не водяной знак
Нет. Кириллическая буква в латинском слове это либо след раскладки, либо намеренная подмена, сделанная человеком. Языковые модели не вставляют омоглифы как метки: они выдают их только тогда, когда окружающий текст и правда кириллический.
Никак не связан с машинно сгенерированным текстом. Он приходит из программы, с клавиатуры или от человека.
Вопросы
Так работают домены-двойники?
Да. Интернационализированное доменное имя может содержать кириллические буквы, которые рисуются как латинские. Браузеры защищаются тем, что показывают такое имя в форме punycode, когда в нём смешаны письменности.
Уничтожит ли параметр «Буквы-двойники» русский текст?
Нет. Он переписывает двойника, только если тот сидит внутри слова со смешанной письменностью, то есть цепочки букв, где вместе с ним есть хотя бы одна ASCII-буква или цифра, как в «Miсrosoft». В обычной русской, греческой или армянской прозе такого слова нет, поэтому там ничего не меняется и даже не попадает в находки. Он всё равно выключен по умолчанию, потому что в смешанном слове он меняет букву, которую вы видите.
Как найти их, ничего не меняя?
Не чистите текст, а покажите скрытое. Каждый двойник будет перечислен со своей позицией, своей кодовой позицией и латинской буквой, которую он изображает, и ничего не изменится.
Проверьте свой текст
Вставьте что угодно в инструмент очистки, чтобы увидеть каждый скрытый символ: позицию, кодовую позицию и то, что произойдёт с каждым из них. Ничего никуда не отправляется.
Проверьте свой текстКак убрать водяной знак ИИ из своего текстаОчищать в Chrome прямо при вставкеОчищать на Mac одной комбинацией клавишВсе символы