Estoy haciendo un tokenizador de código C++, usando C++ :-)
De momento, solo soporto archivos fuente codificados en UTF8
, así que para procesar el archivo de entrada, estoy leyendo línea a línea y utilizando un simple const char *
para acceder a cada caracter individual.
Para localizar las cadenas literales con prefijo, utilizo lo siguiente:
static size_t parseIdentifier( CppToken &tk, const char *beg, const char *end ) {
while( ( ( beg != end ) && *beg <= ' ' ) ) ++beg;
if( beg == end ) return 0;
if( strncmp( beg, "L\"", 2 ) { return parseStringLiteralL( tk, beg, end ); }
if( strncmp( beg, "u\"", 2 ) { return parseStringLiteralu( tk, beg, end ); }
if( strncmp( beg, "U\"", 2 ) { return parseStringLiteralU( tk, beg, end ); }
...
}
Y aquí está mi duda: dentro de esas funciones parseStringLiteralX( )
, las cadenas en el archivo fuente con prefijo de tamaño ¿ he de interpretar que siguen codificadas en UTF8
, o por el contrario han de estar previamente codificadas según el prefijo usado ?
La documentación que he encontrado no me aclara que hacer:
Phase 5
1) All characters in character literals and string literals are converted from the source character set to the execution character set (which may be a multibyte character set such as UTF-8, as long as the 96 characters of the basic source character set listed in phase 1 have single-byte representations).
Y no se como aplicar esto a mis funciones parseStringLiteralX( )
. Es decir, las distintas funciones deberían comenzar así, con una conversión de tipos:
static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
const wchar_t *wbeg = reinterpret_cast< const wchar_t * >( beg );
const wchar_t *wend = reinterpret_cast< const wchar_t * >( end );
...
}
o, por el contrario, he de asumir que las cadenas literales siguen en UTF8
, y soy yo el que tiene que transformarlas al tipo indicado por el prefijo ?
static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
std::wstring value;
while( *beg != '"' ) value.append( 1, utf8_to_wchart( *beg ) );
...
}
Nota: el código fuente real no es así, es solo ilustrativo.
EDITO
He intentado esta pequeña prueba para intentar aclararlo:
#include <string>
#include <iostream>
int main( ) {
const wchar_t *test = L"el niño y la niña\n";
std::cout << reinterpret_cast< const char * >( test ) << '\n';
std::wcout << test << std::endl;
return 0;
}
Esperaba que el texto se mostrara correctamente como mínimo 1 vez. Sin embargo, obtengo lo siguiente:
e
el ni�o y la ni�a
Bueno, acabo de caer en que dependerá de la codificación que soporte WandBox ... pero ahí lo dejo, por si le es útil a alguien.
L
o unaU
delante. Por tanto será UTF-8. Tu parser debe transformarlo al execution charset. Otra historia es por qué no funciona bien el último experimento que has hecho. Creo que se debe a questdout
está usando ISO-8859-1 en lugar de UTF-8UTF8
, pero no lo podría garantizar.