Skip to main content
se añadieron 492 caracteres en el cuerpo
Origen Enlace
Trauma
  • 26.9k
  • 5
  • 42
  • 68

Y aquí está mi duda: dentro de esas funciones parseStringLiteralX( ), ¿ cuanto debería incrementar el puntero beg ? Laslas cadenas en el archivo fuente con prefijo de tamaño ¿ he de interpretar que siguen codificadas en UTF8, o por el contrario han de estar previamente codificadas según el prefijo usado ?

Nota: el código fuente real no es así, es solo ilustrativo.

###EDITO

He intentado esta pequeña prueba para intentar aclararlo:

#include <string>
#include <iostream>

int main( ) {
  const wchar_t *test = L"el niño y la niña\n";

  std::cout << reinterpret_cast< const char * >( test ) << '\n';
  std::wcout << test << std::endl;

  return 0;
}

Esperaba que el texto se mostrara correctamente como mínimo 1 vez. Sin embargo, obtengo lo siguiente:

e
el ni�o y la ni�a

Bueno, acabo de caer en que dependerá de la codificación que soporte WandBox ... pero ahí lo dejo, por si le es útil a alguien.

Y aquí está mi duda: dentro de esas funciones parseStringLiteralX( ), ¿ cuanto debería incrementar el puntero beg ? Las cadenas en el archivo fuente con prefijo de tamaño ¿ he de interpretar que siguen codificadas en UTF8, o por el contrario han de estar previamente codificadas según el prefijo usado ?

Nota: el código fuente real no es así, es solo ilustrativo.

Y aquí está mi duda: dentro de esas funciones parseStringLiteralX( ), las cadenas en el archivo fuente con prefijo de tamaño ¿ he de interpretar que siguen codificadas en UTF8, o por el contrario han de estar previamente codificadas según el prefijo usado ?

Nota: el código fuente real no es así, es solo ilustrativo.

###EDITO

He intentado esta pequeña prueba para intentar aclararlo:

#include <string>
#include <iostream>

int main( ) {
  const wchar_t *test = L"el niño y la niña\n";

  std::cout << reinterpret_cast< const char * >( test ) << '\n';
  std::wcout << test << std::endl;

  return 0;
}

Esperaba que el texto se mostrara correctamente como mínimo 1 vez. Sin embargo, obtengo lo siguiente:

e
el ni�o y la ni�a

Bueno, acabo de caer en que dependerá de la codificación que soporte WandBox ... pero ahí lo dejo, por si le es útil a alguien.

uffff ... corregido :-)
Origen Enlace
Trauma
  • 26.9k
  • 5
  • 42
  • 68

Estoy haciendo un tokenizador de código C++, usando C++ :-)

De momento, solo soporto archivos fuente codificados en UTF8, así que para procesar el archivo de entrada, estoy leyendo línea a línea y utilizando un simple const char * para acceder a cada caracter individual.

Para localizar las cadenas literales con prefijo, utilizo lo siguiente:

static size_t parseIdentifier( CppToken &tk, const char *beg, const char *end ) {
  while( ( ( beg != end ) && *beg <= ' ' ) ) ++beg;

  if( beg == end ) return 0;

  if( strncmp( beg, "L\"", 2 ) { return parseStringLiteralL( tk, beg, end ); }
  if( strncmp( beg, "u\"", 2 ) { return parseStringLiteralu( tk, beg, end ); }
  if( strncmp( beg, "U\"", 2 ) { return parseStringLiteralU( tk, beg, end ); }

  ...
}

Y aquí está mi duda: dentro de esas funciones parseStringLiteralX( ), ¿ cuanto debería incrementar el puntero beg ? Las cadenas en el archivo fuente con prefijo de tamaño ¿ he de interpretar que siguen codificadas en UTF8, o por el contrario han de estar previamente codificadas según el prefijo usado ?

La documentación que he encontrado no me aclara que hacer:

###Phase 5

  1. All characters in character literals and string literals are converted from the source character set to the execution character set (which may be a multibyte character set such as UTF-8, as long as the 96 characters of the basic source character set listed in phase 1 have single-byte representations).

Y no se como aplicar esto a mis funciones parseStringLiteralX( ). Es decir, las distintas funciones deberían comenzar así, con una conversión de tipos:

static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
  const wchar_t *wbeg = static_cast<reinterpret_cast< const wchar_t * >( beg );
  const wchar_t *wend = static_cast<reinterpret_cast< const wchar_t * >( end );
  ...
}

o, por el contrario, he de asumir que las cadenas literales siguen en UTF8, y soy yo el que tiene que transformarlas al tipo indicado por el prefijo ?

static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
  std::wstring value;

  while( *beg != '"' ) value.append( 1, utf8_to_wchart( *beg ) );

  ...
}

Nota: el código fuente real no es así, es solo ilustrativo.

Estoy haciendo un tokenizador de código C++, usando C++ :-)

De momento, solo soporto archivos fuente codificados en UTF8, así que para procesar el archivo de entrada, estoy leyendo línea a línea y utilizando un simple const char * para acceder a cada caracter individual.

Para localizar las cadenas literales con prefijo, utilizo lo siguiente:

static size_t parseIdentifier( CppToken &tk, const char *beg, const char *end ) {
  while( ( ( beg != end ) && *beg <= ' ' ) ) ++beg;

  if( beg == end ) return 0;

  if( strncmp( beg, "L\"", 2 ) { return parseStringLiteralL( tk, beg, end ); }
  if( strncmp( beg, "u\"", 2 ) { return parseStringLiteralu( tk, beg, end ); }
  if( strncmp( beg, "U\"", 2 ) { return parseStringLiteralU( tk, beg, end ); }

  ...
}

Y aquí está mi duda: dentro de esas funciones parseStringLiteralX( ), ¿ cuanto debería incrementar el puntero beg ? Las cadenas en el archivo fuente con prefijo de tamaño ¿ he de interpretar que siguen codificadas en UTF8, o por el contrario han de estar previamente codificadas según el prefijo usado ?

La documentación que he encontrado no me aclara que hacer:

###Phase 5

  1. All characters in character literals and string literals are converted from the source character set to the execution character set (which may be a multibyte character set such as UTF-8, as long as the 96 characters of the basic source character set listed in phase 1 have single-byte representations).

Y no se como aplicar esto a mis funciones parseStringLiteralX( ). Es decir, las distintas funciones deberían comenzar así, con una conversión de tipos:

static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
  const wchar_t *wbeg = static_cast< const wchar_t * >( beg );
  const wchar_t *wend = static_cast< const wchar_t * >( end );
  ...
}

o, por el contrario, he de asumir que las cadenas literales siguen en UTF8, y soy yo el que tiene que transformarlas al tipo indicado por el prefijo ?

static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
  std::wstring value;

  while( *beg != '"' ) value.append( 1, utf8_to_wchart( *beg ) );

  ...
}

Nota: el código fuente real no es así, es solo ilustrativo.

Estoy haciendo un tokenizador de código C++, usando C++ :-)

De momento, solo soporto archivos fuente codificados en UTF8, así que para procesar el archivo de entrada, estoy leyendo línea a línea y utilizando un simple const char * para acceder a cada caracter individual.

Para localizar las cadenas literales con prefijo, utilizo lo siguiente:

static size_t parseIdentifier( CppToken &tk, const char *beg, const char *end ) {
  while( ( ( beg != end ) && *beg <= ' ' ) ) ++beg;

  if( beg == end ) return 0;

  if( strncmp( beg, "L\"", 2 ) { return parseStringLiteralL( tk, beg, end ); }
  if( strncmp( beg, "u\"", 2 ) { return parseStringLiteralu( tk, beg, end ); }
  if( strncmp( beg, "U\"", 2 ) { return parseStringLiteralU( tk, beg, end ); }

  ...
}

Y aquí está mi duda: dentro de esas funciones parseStringLiteralX( ), ¿ cuanto debería incrementar el puntero beg ? Las cadenas en el archivo fuente con prefijo de tamaño ¿ he de interpretar que siguen codificadas en UTF8, o por el contrario han de estar previamente codificadas según el prefijo usado ?

La documentación que he encontrado no me aclara que hacer:

###Phase 5

  1. All characters in character literals and string literals are converted from the source character set to the execution character set (which may be a multibyte character set such as UTF-8, as long as the 96 characters of the basic source character set listed in phase 1 have single-byte representations).

Y no se como aplicar esto a mis funciones parseStringLiteralX( ). Es decir, las distintas funciones deberían comenzar así, con una conversión de tipos:

static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
  const wchar_t *wbeg = reinterpret_cast< const wchar_t * >( beg );
  const wchar_t *wend = reinterpret_cast< const wchar_t * >( end );
  ...
}

o, por el contrario, he de asumir que las cadenas literales siguen en UTF8, y soy yo el que tiene que transformarlas al tipo indicado por el prefijo ?

static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
  std::wstring value;

  while( *beg != '"' ) value.append( 1, utf8_to_wchart( *beg ) );

  ...
}

Nota: el código fuente real no es así, es solo ilustrativo.

Origen Enlace
Trauma
  • 26.9k
  • 5
  • 42
  • 68

Interpretación de cadenas literales con prefijo de tamaño L, u, U, u8 dentro de archivos fuente

Estoy haciendo un tokenizador de código C++, usando C++ :-)

De momento, solo soporto archivos fuente codificados en UTF8, así que para procesar el archivo de entrada, estoy leyendo línea a línea y utilizando un simple const char * para acceder a cada caracter individual.

Para localizar las cadenas literales con prefijo, utilizo lo siguiente:

static size_t parseIdentifier( CppToken &tk, const char *beg, const char *end ) {
  while( ( ( beg != end ) && *beg <= ' ' ) ) ++beg;

  if( beg == end ) return 0;

  if( strncmp( beg, "L\"", 2 ) { return parseStringLiteralL( tk, beg, end ); }
  if( strncmp( beg, "u\"", 2 ) { return parseStringLiteralu( tk, beg, end ); }
  if( strncmp( beg, "U\"", 2 ) { return parseStringLiteralU( tk, beg, end ); }

  ...
}

Y aquí está mi duda: dentro de esas funciones parseStringLiteralX( ), ¿ cuanto debería incrementar el puntero beg ? Las cadenas en el archivo fuente con prefijo de tamaño ¿ he de interpretar que siguen codificadas en UTF8, o por el contrario han de estar previamente codificadas según el prefijo usado ?

La documentación que he encontrado no me aclara que hacer:

###Phase 5

  1. All characters in character literals and string literals are converted from the source character set to the execution character set (which may be a multibyte character set such as UTF-8, as long as the 96 characters of the basic source character set listed in phase 1 have single-byte representations).

Y no se como aplicar esto a mis funciones parseStringLiteralX( ). Es decir, las distintas funciones deberían comenzar así, con una conversión de tipos:

static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
  const wchar_t *wbeg = static_cast< const wchar_t * >( beg );
  const wchar_t *wend = static_cast< const wchar_t * >( end );
  ...
}

o, por el contrario, he de asumir que las cadenas literales siguen en UTF8, y soy yo el que tiene que transformarlas al tipo indicado por el prefijo ?

static size_t parseStringLiteralL( CppToken &tk, const char *beg, const char *end ) {
  std::wstring value;

  while( *beg != '"' ) value.append( 1, utf8_to_wchart( *beg ) );

  ...
}

Nota: el código fuente real no es así, es solo ilustrativo.