O que o Ghostchars detecta

Caracteres sem glifo e sem largura que são contrabando em qualquer lugar de um texto: espaço de largura zero, ligador de palavras, hífen opcional, marca de ordem de bytes, os quatro operadores matemáticos invisíveis, controles de formatação obsoletos, marcas de anotação interlinear, controles de notação musical e os não caracteres permanentemente reservados do Unicode.

Os cinco controles de incorporação e de substituição. Eles reordenam um texto que não é deles, que é como um nome de arquivo pode ser exibido como algo que ele não é. Não existe contexto em que o Ghostchars mantenha um deles.

Dicas de direção: as marcas de esquerda para a direita e de direita para a esquerda, a marca de letra árabe e os quatro isoladores. Ao lado de texto da direita para a esquerda elas resolvem uma ambiguidade real e são mantidas; num parágrafo em inglês são enchimento invisível e um portador de esteganografia já publicado, e saem.

Caracteres invisíveis que se prendem ao caractere anterior ou ao seguinte: ligador e não-ligador de largura zero, seletores de variação, caracteres de tag e os preenchedores específicos do mongol, do khmer e do hangul. Mantidos quando os vizinhos os tornam essenciais, removidos quando estão soltos.

O pega-tudo. Todo caractere restante cuja categoria geral do Unicode é Cf é removido, então um controle de formatação criado numa versão futura do Unicode é pego sem mudança de código. As exceções ortográficas (os sinais numéricos árabes, a marca de abreviação siríaca, o sinal numérico kaithi) são reconhecidas antes e deixadas em paz.

Detectado por propriedade do Unicode, e não a partir de uma lista, então não há um conjunto fixo de pontos de código para enumerar.

Pontos de código que o Unicode nunca vai atribuir, cujo significado é um acordo privado entre uma fonte e um aplicativo. As fontes de ícones moram aqui, e é por isso que removê-los é opcional: em textos de interface, eles são o conteúdo.

Espaços que não são o U+0020: o espaço inquebrável, o estreito e o médio, o espaço ideográfico, a marca de espaço ogâmica e os onze espaços tipográficos de largura fixa. Eles são substituídos por um espaço comum em vez de apagados, porque estão separando palavras.

Os separadores de linha e de parágrafo do Unicode e o NEL, herdado do EBCDIC. Convertidos num avanço de linha comum em vez de apagados, porque apagá-los grudaria duas linhas.

Os códigos de controle C0 e C1, exceto tabulação, avanço de linha e retorno de carro. A presença deles num texto costuma significar um acidente de decodificação ou uma sondagem deliberada.

Aspas tipográficas, travessões e meias-riscas, reticências, sinal de menos e as linhas primas. Não há nada escondido aqui, porque são caracteres visíveis, mas são um ponto de código diferente das formas ASCII, e a escolha entre a aspa reta e a curva é um canal já publicado de um bit por apóstrofo.

A barra que o terminal desenha à esquerda de uma citação e que, ao copiar, vem como texto no começo de cada linha. Uma barra só conta quando abre a linha e o mesmo caractere não aparece de novo mais adiante nela, então uma tabela desenhada com caracteres de moldura fica intacta. Ela sai junto com o espaço que vem depois. É opcional porque uma árvore de pastas impressa no terminal começa as linhas com a mesma barra.

Letras cirílicas, gregas, armênias, cherokee, de largura completa e matemáticas que são desenhadas igualzinho às latinas. O mapeamento tem 1.513 entradas geradas a partir dos próprios dados de confusables do Unicode, e uma letra só conta dentro de uma palavra que mistura escritas: uma sequência de letras que também contém uma letra ou dígito ASCII, como "аpple". Uma palavra puramente cirílica ou grega nunca é relatada nem reescrita. Mesmo assim é opcional, porque reescreve letras que você consegue ver.