6

No tengo idea de porqué pasa esto. Siempre que procese los caracteres de un string, y este string tenga vocales con tilde o ñ los transforma y no muestra adecuadamente.

introducir la descripción de la imagen aquí

2
  • Puede que esta respuesta (inglés) te ayude.
    – NaCl
    Commented el 17 mar. 2017 a las 13:37
  • @NaCl gracias por comentar... Pero el konsole lo tengo configurado a UTF-8 y los pasos que describe son incompatibles con Kubuntu 14.04 Commented el 17 mar. 2017 a las 17:15

4 respuestas 4

5

Esto se debe a la configuración regional conque se esta ejecutando tu programa; un ejemplo para localizar sería:

#include <iostream>
using namespace std;
setlocale(LC_ALL, "es_ES");


int main()
{
  cout << "áéíóú\n";
  return 0;
}

Puedes ver mas información de esto en:

Funciones de localización en C

3
  • Gracias por responde. Pero de esa manera muestra correctamente. El problema viene cuando proceso por caracteres... Commented el 17 mar. 2017 a las 16:43
  • usé el std::locale de gnu++11, luego cout.imbue( locale( "" ); igual me muestra incorrectamente los caracteres... Commented el 17 mar. 2017 a las 17:18
  • Para los que vean esta respuesta, en lugar de setlocale(LC_ALL, "es_ES"), debería ser setlocale(LC_ALL, "spanish").
    – Xam
    Commented el 17 feb. 2018 a las 6:05
5

Para que se entienda rápido:

std::string( "ab" ).size( ); => 2;

std::string( "ññ" ).size( ); => 4;

No puedes mostrar caracteres UTF-8 como si fueran bytes ascii.

La única solución que tienes es comprobar, 1 a 1, que los caracteres sean válidos en ASCII (7 bits). Si algún caracter no cumple esa regla, tendrías que mostrar mas de 1 byte.

Todos los caracteres UTF-8 tienen el bit 8 puesto a 1, con lo que la comprobación es simple:

if( character & 128 ) {

Si te encuentras con algún caracter que cumpla lo anterior, estás ante UTF-8.

Ante caracteres de este tipo, tienes que usar alguna librería para extraerlo y convertirlo en una cadena, para mostrar esta última.

Piensa que puedes encontrarte mas de un UTF-8 seguido, con lo que no puedes tomar la vía fácil de añadir caracteres a una cadena auxiliar mientras que la comprobación se cumpla. También puedes encontrarte con secuencias UTF-8 inválidas.

Creo que Windows provee funciones para estas cosas. En Linux, puedes usar ICU

EDITO

Nunca tuve la necesidad de extraer caracteres individuales de una ::std::string ... hasta leer esta pregunta ;-)

Después de alguna que otra molestia inesperada, hice esta template< > que permite iterar sobre los caracteres individuales de cadenas UTF-8, tanto si están en un const char *VAR="...", como si están en una ::std::string( "..." ). No es lo mas cachi piruli del mundo, pero ilustra el proceso de comprobar si un carácter es o no UTF-8, y como tratarlos dependiendo de la anchura del mismo. No tiene en cuenta posibles errores en la codificación UTF-8, es solamente a título formativo:

// utf8iterator.hpp

#ifndef UTF8ITERATOR_HPP
#define UTF8ITERATOR_HPP

#include <cstddef>

template< typename T > struct utf8iterator {    
  T ptr;
  ::size_t size;
  char bytes[5];

  utf8iterator( const T &p ) :
    ptr( p ),
    size( 0 )
  {
    bytes[4] = 0;
  }
  utf8iterator &operator=( const T &iter ) {
    ptr = iter;
    size = 0;
    return *this;
  }

  bool operator==( const utf8iterator< T > &other ) const noexcept { return ptr == other.ptr; }
  bool operator!=( const utf8iterator< T > &other ) const noexcept { return ptr != other.ptr; }

  ::size_t calculateSize( ) const {
    if( ( *ptr & 248 ) == 240 ) {
      return 4;
    } else if( ( *ptr & 240 ) == 224 ) {
      return 3;
    } else if( ( *ptr & 224 ) == 192 )
      return 2;

    return 1;
  }
  utf8iterator &operator++( ) {
    if( size ) {
      ptr += size;
      size = 0;
    } else
      ptr += calculateSize( );

    return *this;
  }
  utf8iterator operator++( int ) {
    utf8iterator tmp( *this );

    if( size ) {
      ptr += size;
      size = 0;
    } else
      ptr += calculateSize( );

    return tmp;
  }
  void update( ) {
    ::size_t c;
    T iter( ptr );

    size = calculateSize( );

    for( c = 0; c != size; ++c ) {
      bytes[c] = *iter;
      ++iter;
    }

    if( size != 4 )
      bytes[size] = 0;
  }
  operator const char *( ) {
    if( !size )
      update( );

    return bytes;
  }
};

#endif

Un pequeño programa de prueba/ejemplo, que muestra su uso:

// main.cpp

#include <iostream>
#include <string>

#include "utf8iterator.hpp"

int main( void ) {
  const char *test = "abcdeññ";
  std::string str( test );

  utf8iterator< const char * > charIter( test );
  utf8iterator< std::string::iterator > strIter( str.begin( ) );

  while( *charIter ) {
    std::cout << charIter << ": ";
    std::cout << charIter.size << "\n";
    ++charIter;
  }

  while( strIter != str.end( ) ) {
    std::cout << strIter << ": ";
    std::cout << strIter.size << "\n";
    ++strIter;
  }

  std::cout << std::endl;

  return 0;
}

Tras compilarlo con g++ -I . -std=c++11 -Wall -pedantic main.cpp, muestra el siguiente resultado:

a: 1
b: 1
c: 1
d: 1
e: 1
ñ: 2
ñ: 2
a: 1
b: 1
c: 1
d: 1
e: 1
ñ: 2
ñ: 2

Muestra adecuadamente los caracteres individuales, tanto en char * como en std::string, ocupen los bytes que ocupen.

2
  • Gracias @Trauma por explicarme. Es lo que veía cuando pasaba un carácter a cout, siempre mostraba dos íconos con signo de interrogación. Me parece raro que std++11 no pueda manejar esta situación. Siendo que también está el std::locale. Y el locale de mi sistema es "es_AR.UTF-8" Commented el 17 mar. 2017 a las 22:16
  • Está bueno el código fuente de tu utf8iterator @Trauma podrías agregar cómo respuesta a esta pregunta es.stackoverflow.com/q/55302/32772 Commented el 23 mar. 2017 a las 12:33
3

no se si usted soluciono este tema pero como veo comentarios de este tipo:

usé el std::locale de gnu++11, luego cout.imbue( locale( "" ); igual me muestra incorrectamente los caracteres...


Puede hacer uso de lo siguiente para mostrarlo como desea:

#include <iostream>
#include <locale>
#include <string>

using namespace std;

int main() {
    // your code goes here

    ios_base::sync_with_stdio(false);
    wcout.imbue(locale("en_US.UTF-8"));

    for (auto const&t : wstring (L"áéíóú")){
        wcout << t;
    }
    return 0;
}

testIdeone


Info:

wstring

wstring (L"áéíóú")

wcout

wcout << t;

sync_with_stdio

ios_base::sync_with_stdio(false);
1
  • Gracias @AngelAngel por compartir esta solución... Probé tu solución y con el locale de mi sistema, "es_AR.UTF-8", también funcionó. Sin el locale no muestra los las vocales acentuadas. Gracias, por el momento esta solución me sirve. Commented el 18 mar. 2017 a las 17:42
1

Puedes iterar sobre los "bytes" de una cadena en que esta en UTF-8 y sacar esos bytes por otro lado.

Lo que no puedes hacer nunca es "intercalar" caracteres/bytes (en este caso fin de linea: el "endl") entre esos bytes que estas iterando, ya que hay caracteres que son formados por dos bytes (la ñ, la á, etc) y no son "separables".

Para entender mejor lo que digo arriba, este codigo funciona solo para caracteres (unicode) menores que 0x800 (menores que 8*256, la 'ñ', 'á', son menores que 1*256):

#include <iostream>
using namespace std;

int main()
{
  for (auto const&l : string("áaéeiíóúñ")) {
    cout << l;
    if ((l&0xc0)!=0xc0)
      cout << endl;
  }
}

Salida:

á
a
é
e
i
í
ó
ú
ñ

He intercalado retornos de linea solo en "algunos casos" entre los "bytes" de salida.

1
  • Gracias @AngelMoreno por tu explicación Commented el 20 abr. 2017 a las 3:10

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.