5

Estoy haciendo un tokenizador de código C++, usando C++ :-)

De momento, solo soporto archivos fuente codificados en UTF8, así que para procesar el archivo de entrada, estoy leyendo línea a línea y utilizando un simple const char * para acceder a cada caracter individual.

Para localizar las cadenas literales con prefijo, utilizo lo siguiente:

static size_t parseIdentifier( CppToken &tk, const char *beg, const char *end ) {
  while( ( ( beg != end ) && *beg <= ' ' ) ) ++beg;

  if( beg == end ) return 0;

  if( strncmp( beg, "L\"", 2 ) { return parseStringLiteralL( tk, beg, end ); }
  if( strncmp( beg, "u\"", 2 ) { return parseStringLiteralu( tk, beg, end ); }
  if( strncmp( beg, "U\"", 2 ) { return parseStringLiteralU( tk, beg, end ); }

  ...
}

Y aquí está mi duda: dentro de esas funciones parseStringLiteralX( ), las cadenas en el archivo fuente con prefijo de tamaño ¿ he de interpretar que siguen codificadas en UTF8, o por el contrario han de estar previamente codificadas según el prefijo usado ?

La documentación que he encontrado no me aclara que hacer:

Phase 5

1) All characters in character literals and string literals are converted from the source character set to the execution character set (which may be a multibyte character set such as UTF-8, as long as the 96 characters of the basic source character set listed in phase 1 have single-byte representations).

Y no se como aplicar esto a mis funciones parseStringLiteralX( ). Es decir, las distintas funciones deberían comenzar así, con una conversión de tipos:

static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
  const wchar_t *wbeg = reinterpret_cast< const wchar_t * >( beg );
  const wchar_t *wend = reinterpret_cast< const wchar_t * >( end );
  ...
}

o, por el contrario, he de asumir que las cadenas literales siguen en UTF8, y soy yo el que tiene que transformarlas al tipo indicado por el prefijo ?

static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
  std::wstring value;

  while( *beg != '"' ) value.append( 1, utf8_to_wchart( *beg ) );

  ...
}

Nota: el código fuente real no es así, es solo ilustrativo.

EDITO

He intentado esta pequeña prueba para intentar aclararlo:

#include <string>
#include <iostream>

int main( ) {
  const wchar_t *test = L"el niño y la niña\n";

  std::cout << reinterpret_cast< const char * >( test ) << '\n';
  std::wcout << test << std::endl;

  return 0;
}

Esperaba que el texto se mostrara correctamente como mínimo 1 vez. Sin embargo, obtengo lo siguiente:

e
el ni�o y la ni�a

Bueno, acabo de caer en que dependerá de la codificación que soporte WandBox ... pero ahí lo dejo, por si le es útil a alguien.

2
  • El fuente del programa está en la codificación que haya elegido tu editor. Eso no puedes cambiarlo poniendo una L o una U delante. Por tanto será UTF-8. Tu parser debe transformarlo al execution charset. Otra historia es por qué no funciona bien el último experimento que has hecho. Creo que se debe a que stdout está usando ISO-8859-1 en lugar de UTF-8
    – abulafia
    Commented el 23 abr. 2019 a las 10:14
  • Es la salida de wandbox, no se que codificación usa. Supongo que UTF8, pero no lo podría garantizar.
    – Trauma
    Commented el 23 abr. 2019 a las 10:17

1 respuesta 1

4

Vale, ya. Después de pensarlo un poco ...

#include <string>
#include <iostream>

int main( ) {
  const wchar_t *test = L"el niño y la niña\n";

  std::cout << reinterpret_cast< const char * >( test ) << '\n';
  std::wcout << test << std::endl;

  return 0;
}

Salida:

e
el ni�o y la ni�a

Si nos fijamos bien, el primer intento

std::cout << reinterpret_cast< const char * >( test ) << '\n';

Proporciona una salida totalmente errónea. Y yo se que el archivo fuente está en UTF-8, y la terminal usada también soporta UTF-8.

La única explicación posible: el compilador transforma la cadena: en el archivo de código, la cadena sigue codificada en utf-8 independientemente del prefijo de anchura. Es el compilador el que la transforma al tipo indicado por el prefijo.

Por lo tanto, de las 2 opciones posibles en mi pregunta, hay que usar la 2ª:

static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
  std::wstring value;

  while( *beg != '"' ) value.append( 1, utf8_to_wchart( *beg ) );

  ...
}

Seguir leyendo el archivo en UTF-8, y transformarlo nosotros al tipo indicado en el prefijo :-)

6
  • La primera salida no es tan errónea... después de todo la cadena se ha codificado a wchar, por lo que cada letra son dos bytes (o cuatro, depende). Para la letra 'e', en una arquitectura little-endian (como Intel) el primero de esos bytes es el código ascii de la 'e', los restantes bytes del wchar son 0. Al forzarle a que lo interprete como char*, el primer 0 que se encuentra se toma por el terminador de cadena, y por eso sólo muestra la e.
    – abulafia
    Commented el 23 abr. 2019 a las 10:16
  • No tengo tan claro en cambio por qué el siguiente intento muestra mal las eñes. Sólo se me ocurre que al usar por defecto el "locale" C, esté convirtiendo cada caracter mulitibyte a un solo byte, quizás con el encoding ISO-8859-1. Esto es independiente del encoding que use la terminal, la cual hará lo que pueda con lo que el programa le envía.
    – abulafia
    Commented el 23 abr. 2019 a las 10:18
  • Estaba intentando identificar quien y como se encargaba de codificar el texto. Ahora que ya lo tengo claro, todo tiene sentido, y tienes razón en lo que dices. En cuanto a la codificación del terminal ... pues el que use wandbox ... no puedo comprobarlo ahora mismo en un entorno mas controlado (un Linux, vamos).
    – Trauma
    Commented el 23 abr. 2019 a las 10:20
  • @abulafia Lo que dices, que la cadena en el código estuviera en UTF8 igual que el resto del documento, es lo que yo creía y veía mas lógico ... pero no encontré documentación al respecto, y no se me ocurría como comprobarlo ... hasta que se me ocurrió.
    – Trauma
    Commented el 23 abr. 2019 a las 10:21
  • Parece que puede estar relacionado con que hayas impreso antes en cout. En el momento que usas cout, parece que se fuerza a que wcout use también un encoding de 8 bits, y ya todo sale mal. Si quitas el mensaje inicial por cout, el que va a wcout ya se comporta de la forma esperada, y es que la cadena almacenada internamente como UTF-32, se convierte al encoding especificado por el "locale" antes de enviarse a pantalla. El "locale" por defecto es C, y eso cambia las eñes por interrogantes. Pero si haces un setlocale(LC_ALL, "C.UTF-8") ya se ve bien.
    – abulafia
    Commented el 23 abr. 2019 a las 11:49

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.