Largura zero e invisíveis
NONCHARACTERS (U+FDD0–U+FDEF)
Pontos de código que o Unicode reservou permanentemente para nunca serem caracteres: U+FDD0–U+FDEF, mais os dois últimos pontos de código de cada plano (U+FFFE, U+FFFF, U+1FFFE e assim por diante).
- Faixa
U+FDD0–U+FDEF- Categoria
- Largura zero e invisíveis
- Removido por padrão
- Sim
- Opção que governa
- Nenhuma opção necessária
- Pode ser essencial
- Não
De onde ele vem
De sentinelas internas que vazaram de um programa, de conversões de codificação corrompidas e de ferramentas de fuzzing ou de carga oculta, que os escolhem justamente porque nada legítimo os usa.
Por que ele importa
Eles têm a garantia de nunca aparecer em intercâmbio de dados, então qualquer ocorrência é um defeito ou uma intrusão. Eles também travam ou confundem parsers e, por serem permanentemente não atribuídos, não são caracteres de formatação — um filtro que procura a categoria “Cf” passa direto por eles.
Antes e depois
O U+FDD0, o primeiro não caractere — um ponto de código com a garantia de não significar nada, em lugar nenhum, para sempre.
O caractere aparece como uma etiqueta para você ver onde ele fica. No seu texto, ele não desenha absolutamente nada.
Quando ele é legítimo
Nunca, em texto que você mande para algum lugar. O único uso previsto é como sentinela interna e privada dentro de um programa.
Como remover
A limpeza padrão remove todos eles. O Ghostchars os lista um a um em vez de confiar em um teste de categoria, porque a categoria deles é “não atribuído”.
Ele é uma marca-d’água de IA?
Não é marca-d’água
Não. Um não caractere no seu texto é sinal de um fluxo quebrado ou de uma sondagem deliberada, nunca de um modelo de linguagem.
Nenhuma relação com texto gerado por máquina. Ele vem de algum software, de um teclado ou de uma pessoa.
Perguntas
Por que o Unicode reserva pontos de código que nunca podem ser usados?
Para que os programas tenham valores que possam usar internamente como sentinelas, sabendo que nenhum texto de verdade vai contê-los.
Por que os outros limpadores não pegam esses caracteres?
A maioria procura a categoria “formatação” do Unicode. Os não caracteres são permanentemente não atribuídos, então ficam de fora dela e precisam ser listados na mão.
Confira o seu próprio texto
Cole qualquer coisa no limpador para ver todos os caracteres ocultos que ela contém, com posição, ponto de código e o que acontece com cada um. Nada é enviado para lugar nenhum.