Estoy haciendo un tokenizador de código C++, usando C++ :-)
De momento, solo soporto archivos fuente codificados en UTF8
, así que para procesar el archivo de entrada, estoy leyendo línea a línea y utilizando un simple const char *
para acceder a cada caracter individual.
Para localizar las cadenas literales con prefijo, utilizo lo siguiente:
static size_t parseIdentifier( CppToken &tk, const char *beg, const char *end ) {
while( ( ( beg != end ) && *beg <= ' ' ) ) ++beg;
if( beg == end ) return 0;
if( strncmp( beg, "L\"", 2 ) { return parseStringLiteralL( tk, beg, end ); }
if( strncmp( beg, "u\"", 2 ) { return parseStringLiteralu( tk, beg, end ); }
if( strncmp( beg, "U\"", 2 ) { return parseStringLiteralU( tk, beg, end ); }
...
}
Y aquí está mi duda: dentro de esas funciones parseStringLiteralX( )
, ¿ cuanto debería incrementar el puntero beg
? Las cadenas en el archivo fuente con prefijo de tamaño ¿ he de interpretar que siguen codificadas en UTF8
, o por el contrario han de estar previamente codificadas según el prefijo usado ?
La documentación que he encontrado no me aclara que hacer:
###Phase 5
- All characters in character literals and string literals are converted from the source character set to the execution character set (which may be a multibyte character set such as UTF-8, as long as the 96 characters of the basic source character set listed in phase 1 have single-byte representations).
Y no se como aplicar esto a mis funciones parseStringLiteralX( )
. Es decir, las distintas funciones deberían comenzar así, con una conversión de tipos:
static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
const wchar_t *wbeg = static_cast<reinterpret_cast< const wchar_t * >( beg );
const wchar_t *wend = static_cast<reinterpret_cast< const wchar_t * >( end );
...
}
o, por el contrario, he de asumir que las cadenas literales siguen en UTF8
, y soy yo el que tiene que transformarlas al tipo indicado por el prefijo ?
static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
std::wstring value;
while( *beg != '"' ) value.append( 1, utf8_to_wchart( *beg ) );
...
}
Nota: el código fuente real no es así, es solo ilustrativo.