5

‌Yo sé que ya muchos de ustedes saben que existen caracteres fantasma. Sí sí, caracteres que no se ven y que sin embargo están ahí.

Ya ha ocurrido que en algunas preguntas los resultados no dan, que dos datos que aparentemente son iguales, resulta que no lo son.

Veamos un ejemplo muy simple. Por conveniencia voy a usar JS/HTML. Pero lo que veremos aquí nos puede ocurrir en cualquier lenguaje de programación de alto o de bajo nivel, o nos puede ocurrir comparando datos almacenados en una base de datos, en un archivo, etc, etc.

var txtUno = document.getElementById("txtUno").innerHTML;
var txtDos = document.getElementById("txtDos").innerHTML;
var resultado= (txtUno==txtDos) ? "Iguales" : "Distintos";
console.log(resultado);
<p id="txtUno">‌a</p>
<p id="txtDos">a</p>

¿Vieron? En cada elemento p aparentemente hay una letra a, sin embargo el código dice que no son iguales.

Tomemos los mismos datos y contemos cuántos caracteres hay en cada elemento p:

var sizeOne = document.getElementById("txtUno").innerHTML.length;
var sizeTwo = document.getElementById("txtDos").innerHTML.length;

console.log(sizeOne);
console.log(sizeTwo);
<p id="txtUno">‌a</p>
<p id="txtDos">a</p>

OMG, dice que en el primer p hay dos caracteres y en el segundo hay uno sólo. Efectivamente, en el primer p hay uno de esos caracteres fantasma.

Me pregunto:

  • ¿para qué sirven esos caracteres, aparte de hacer que nos rompamos la cabeza en ocasiones?
  • ¿esos caracteres están listados, identificados en alguna parte a la cual pueda recurrir cuando necesite limpiar datos?

NOTA: No sabía que etiqueta ponerle a esta pregunta. lenguaje-agnóstico parecería ser la más adecuada. Aunque he puesto código de ejemplo usando JS/HTML lo he hecho más por facilidad que por otra cosa (para mostrar ejemplos con los fragmentos de código). No obstante, creo que serviría una respuesta basada en cada juego de caracteres o algo así.

1
  • ¿Qué entiendes por limpiar datos? Entiendo que a eliminar los caracteres no deseados. Es difícil definir los caracteres no deseados sin conocer la codificación que utilizas y, dentro de esa codificación, qué caracteres deseas permitir. Por ejemplo, como comenta abufalia en la respuesta de Jesús Rodriguez, hay distintas formas de definir un carácter acentuado en Unicode. Eso llevaría a preguntar si deseas incluir caracteres acentuados y de qué forma. Tras definir lo que deseas permitir, la pregunta se responderá sola, pero hasta entonces no soy capaz de responder (me faltan datos). Commented el 5 sept. 2018 a las 9:19

5 respuestas 5

4

Efectivamente esos caracteres fantasmas provienen del mapa de caracteres Unicode y tienen su uso dependiendo del carácter, idioma y la forma de interpretar la cadena, algunos son métodos de control usados para lenguajes de escritura de derecha a izquierda, otros son operadores, acentos o controles de unión de letras.

Unicode en su página oficial tiene una lista de los caracteres que no son desplegados en pantalla y los casos en los que ocurre así como un detalle de cómo se desglosa la interpretación cuando son o no soportados, especialmente en navegadores que no tienen soporte para este tipo de caracteres donde es mas notable el efecto pero no se limita a estos.

FAQ de caracteres no imprimibles unicode.org

La parte de que los programadores nos quebremos la cabeza con ellos viene de malas prácticas de no especificar el encodificado de nuestro texto, y la forma en que se interpreta en pantalla, el siguiente articulo (esta en ingles) provee detalles excelentes de lo que acompaña el no especificar el tipo de encodificado en nuestras aplicaciones, el cual a nivel regional puede no ser ningún problema hasta que nos vemos de cara con la internacionalización.

Articulo sobre tablas de caracteres y unicode detallando las malas practicas arrastradas desde años atras

Con respecto a UTF-8

En UTF-8 el estándar RFC 3629 marca que se deben tratar como secuencias invalidas los code points U+D800 a U+DFFF y aquellos después de U+10FFFF, algunas implementaciones permiten realizar las restricciones del estándar RFC 3629 en otros casos UTF-8 es implementado como una de sus extensiones CESU-8 (MySQl u Oracle usa esta implementación), MUTF-8 (Java usa esta implementación) o WTF-8 erróneamente identificado algunas veces como UTF-8

Por lo que puede ser que diferentes sistemas interpreten de distinta forma UTF-8 si usan la implementación de una extensión de UTF-8 con los code points mencionados

4
  • Gracias por tu respuesta. No obstante, en un caso concreto en el que yo he estado trabajando con documentos de texto codificados en UTF-8, he recogido ese contenido en un editor de código (Coda en mi caso), lo he revisado, y luego lo he introducido en mi base de datos. Resulta que a veces he encontrado caracteres de esos invisibles que menciono. Entonces no sé si dependa solamente de una codificación adecuada como dices. Cuando en Coda yo activo la opción de Ver caracteres invisibles a veces se muestran, a veces no. O a veces hay unos espacios que no son el punto pequeño que representa...
    – A. Cedano
    Commented el 5 mar. 2018 a las 15:23
  • ... el espacio cuando estamos viendo los caracteres invisibles. A veces el espacio tampoco en un espacio, sino que viene representado como por un punto y un sombre ^ encima. Son solo ejemplos de codificaciones extrañas que veo a veces en textos en los que he aplicado correctamente la codificación.
    – A. Cedano
    Commented el 5 mar. 2018 a las 15:24
  • Una disculpa me confundi con USC2 el cual maneja el orden de bytes, UTF-8 lo tiene explicito por lo que no deberia haber variacion en los code points Commented el 5 mar. 2018 a las 15:38
  • 1
    @A.Cedano Unicode puede dar muchos quebraderos de cabeza, no sólo por los caracteres no visibles. También hay diferentes formas de codificar un caracter acentuado. Por ejemplo: y á pueden parecer iguales, pero no lo son. El primero se codifica en UTF-8 con tres bytes (61 cc 81) y el segundo, también en UTF-8 con sólo dos (c3 a1). La razón es que el primero es el código de dos codepoints de Unicode: primero una a y luego el código del diacrítico "acento agudo", mientras el segundo es un único codepoint: el código del carácter "a con acento agudo".
    – abulafia
    Commented el 5 mar. 2018 a las 15:51
3

Hay una tabla con los tipos de caracteres en el standard de unicode: http://www.unicode.org/versions/Unicode10.0.0/ch02.pdf

types of code points

En ella, el caracter que has usado entra en la categoria de formato.

En java al menos, puedes obtener la categoria de un char de la siguiente forma:

char c = '\u200C';
Character.getType(c); // Character.FORMAT

Y las constantes que estan en esa categoria son:

  • Zl: Character.LINE_SEPARATOR
  • Zp: Character.PARAGRAPH_SEPARATOR
  • Cf: Character.FORMAT

Si quisieras comprobar que este en el rango unicode Graphic, entonces podrias probar si Character.getType(c) retorna en el rango 1-12 o 20-28 de acuerdo a las categorias que estan presentes en el javadoc de Character

2

El mundo de la codificación de caracteres es complejo, porque hay varios tipos de caracteres o símbolos que no son imprimibles o que no lo son de manera independiente. Como generalmente usamos el estándar Unicode, me voy a centrar en él:

Primero, los caracteres se guardan como números o "puntos de código". Usando Javascript, por ejemplo, podemos ver lo siguiente:

let texto='aáàä';

function codigos(t) {
  let i=0;
  while (t.codePointAt(i)) {
    console.log(t.codePointAt(i).toString(16));
    i++;
  }
}

codigos(texto)

console.log('\u0061','\u00e1','\u00e0','\u00e4')

Hasta aquí parece algo sencillo, pero realmente no lo es tanto porque hay caracteres que se forman mezclando dos puntos de código:

console.log('\u006e','\u0303')

let texto='C͓̲͜ed̜͉̬ͅa̦̙̻n̪͢o̧̠̠̺ͅ';

function codigos(t) {
  let i=0;
  while (t.codePointAt(i)) {
    console.log(t.codePointAt(i).toString(16));
    i++;
  }
}

codigos(texto)

console.log(`Longitud de ${texto}: ${texto.length}`);

Por otro lado, tienes que hay símbolos que son imprimibles pero no son soportados por la mayoría de las fuentes tipográficas que conocemos, por un tema de economizar: los miles de símbolos chinos, japoneses, indúes, arábicos o coreanos no se pueden imprimir con Times New Roman, por ejemplo, porque está centrada en los caracteres greco latinos. El carácter que has usado en tu ejemplo pertenece al conjunto CJK (China, Japan and Korea) y por tanto no es imprimible.

1
  • Gracias por tu respuesta Pablo. No obstante el caracter está ahí. Hice una revisión buscando algún carácter de esos invisibles en mi base de datos por ejemplo y resulta que sí hay caracteres de ellos que se introdujeron en la BD junto con contenido que yo he traído desde ficheros de texto por ejemplo. En parte la idea de la pregunta era tener una referencia a cuáles serían esos caracteres fantasma, los cuales podría buscar y borrar en mi base de datos.
    – A. Cedano
    Commented el 5 mar. 2018 a las 15:00
2

Todo depende de la codificacion que uses. En ascii standard, esta es la lista de caracteres no imprimibles:

Caracteres no imprimibles en ascii

Ahora.. todo depende del entorno y la fuente que uses. Y la codificacion. Por lo tanto, la pregunta seria, no imprimibles para quien?

Porque tranquilamente podrias leer un archivo binario e imprimir todos los caracteres con los simbolitos que quieras.

0

Desde la introducción de los textos en el código html se puede ver que contiene caracteres unicode, a simple vista no aparecen:

introducir la descripción de la imagen aquí

pero al analizarlo existe un caracter antes de la letra "a" del primer parrafo html:

introducir la descripción de la imagen aquí

en este se tiene un carácter unicode \uFEFF, que es un "Empty blank space"


¿para qué sirven esos caracteres, aparte de hacer que nos rompamos la cabeza en ocasiones?


Descripción general de Unicode Unicode es el estándar de codificación de caracteres universal utilizado para la representación de texto para procesamiento del equipo. Unicode proporciona una manera consistente de codificación de texto multilingüe y facilita el intercambio de archivos de texto internacionales.

El estándar para codificación de texto multilingüe es ISO/IEC 10646. Aunque los estándares ISO/IEC 10646 y Unicode contienen todos los mismos caracteres y puntos de codificación, el estándar Unicode proporciona información adicional sobre los caracteres y su uso.

Cada carácter Unicode se asigna a un punto de código, que es un número entero entre 0 y 1114111. Se hace referencia a los puntos de código Unicode mediante la notación en formato U+nnnn, donde nnnn es el número hexadecimal del punto de código, o mediante una cadena de texto que describe el punto de código. Por ejemplo, la letra en minúscula “a” puede ser representada por U+0061 o la cadena de texto "LATIN SMALL LETTER A".

Es un sistema universal y estándar de caracteres imprimibles (símbolos, números) y no imprimibles que permiten una fácil visualización y transmisión de información escrita en diversos lenguajes. Este estándar esta definido y desarrollado por Unicode Technical Committee (UTC),

¿esos caracteres están listados, identificados en alguna parte a la cual pueda recurrir cuando necesite limpiar datos?

Los caracteres están identificados, no los agrego porque la lista es extensa, puedes ver por ejemplo la de UTF-8 en este enlace.


Es importante evitar estos caracteres cuando guardamos información que va a ser consumida, por ejemplo en formato .xml o .json, ya que dependiendo del lenguaje en ocasiones el parser no puede manipular estos caracteres y provoca un error.

introducir la descripción de la imagen aquí

Como evitar caracteres unicode en archivos.

Regularmente el problema sucede cuando se guardan archivos en formato de texto, lo que se puede realizar es aplicar una codificación por ejemplo UTF-8 y posteriormente proceder a salvar el archivo.

En windows se puede usar el Notepad.

1
  • Cuando se califique con -1, es bueno para el sitio se indique la razón, esto para mejorar la pregunta, eliminarla o si existen argumentos platicar sobre el tema.
    – Jorgesys
    Commented el 20 mar. 2018 a las 20:50

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.