8

NOTA

Aunque no afecta al código de la plantilla (utf8iterator.hpp), el main.cpp depende de la codificación usada al guardarlo para funcionar correctamente. En mi sistema, trabajo con UTF-8, y dicho main.cpp se guarda en la misma codificación.

Gracias al usuario @asdasdasd por hacérmelo notar con sus comentarios.

FIN DE LA NOTA

Tras leer esta pregunta: ¿Porqué cout no muestra vocales con tilde ni “ñ” con gcc 4.9.4?, sentí la incontrolable necesidad de iterar sobre caracteres individuales dentro de una ::std::string, o dentro de un const char[].

Tras documentarme un poco en la página de la Wikipedia sobre UTF-8 (en inglés), codifiqué esta simple plantilla

// utf8iterator.hpp

#ifndef UTF8ITERATOR_HPP
#define UTF8ITERATOR_HPP

#include <cstddef>

template< typename T > struct utf8iterator {
  //static constexpr char ReplacementCharacter[4] { '\xEF', '\xBF', '\xBD', '\x00' };

  T ptr;
  ::size_t size; // Tamaño del caracter, en bytes. == 0 -> ptr ha cambiado.
                 // Su única misión es evitar escrituras no necesarias.
  char bytes[5]; // Máximo tamaño de un UTF-8 es 4. Dejamos sitio para el 0 al final.

  utf8iterator( const T &p ) :
    ptr( p ),
    size( 0 )
  {
    bytes[4] = 0; // Solo lo hacemos 1 vez. Nunca se sobreescribe.
  }
  utf8iterator &operator=( const T &iter ) {
    ptr = iter;
    size = 0;
    return *this;
    // Ya hicimos 'bytes[4] = 0' en el constructor.
  }

  bool operator==( const utf8iterator< T > &other ) const noexcept { return ptr == other.ptr; }
  bool operator!=( const utf8iterator< T > &other ) const noexcept { return ptr != other.ptr; }

  ::size_t calculateSize( ) const {
    if( ( *ptr & 248 ) == 240 ) { // 11110
      return 4;
    } else if( ( *ptr & 240 ) == 224 ) { // 1110
      return 3;
    } else if( ( *ptr & 224 ) == 192 ) // 110
      return 2;

    return 1;
  }
  utf8iterator &operator++( ) {
    if( size ) {
      ptr += size;
      size = 0; // Al cambiar 'ptr', se invalida 'size'.
    } else
      ptr += calculateSize( ); // 'size' ya es inválido.

    return *this;
  }
  utf8iterator operator++( int ) {
    utf8iterator tmp( *this );

    if( size ) {
      ptr += size;
      size = 0; // Al cambiar 'ptr', se invalida 'size'.
    } else
      ptr += calculateSize( ); // 'size' ya es inválido.

    return tmp;
  }

  operator const char *( ) {
    // Si 'size' es inválido, tenemos que calcular el tamaño del caracter, en bytes.
    if( !size ) {
      ::size_t c;
      T iter( ptr );

      size = calculateSize( );

      // Subsceptible de optimizar, especializando para < const char * >, y usando ::std::memcpy( ).
      // Copiamos los bytes indicados en 'size' al buffer 'bytes'.
      for( c = 0; c != size; ++c ) {
        bytes[c] = *iter;
        ++iter;
      }

      // En el constructor, hicimos 'bytes[4] = 0'. Las escrituras son costosas.
      // Solo ponemos el 0 si 'bytes != 4'.
      if( size != 4 )
        bytes[size] = 0;
    }

    return bytes;
  }
};

#endif

Acompañado de un pequeño código de prueba

// main.cpp

#include <iostream>

#include "utf8iterator.hpp"

int main( void ) {
  const char *test = "abcdeññ";

  utf8iterator< const char * > charIter( test );

  while( *charIter ) {
    std::cout << charIter.size( ) << ": ";
    std::cout << *charIter << "\n";
    ++charIter;
  }

  std::cout << std::endl;

  return 0;
}

Todo ello compila correctamente con

g++ -I . -std=c++11 -Wall -pedantic -o test test.cpp

El resultado esperado sería

1: a
1: b
1: c
1: d
1: e
2: ñ
2: ñ

Sin embargo, el resultado obtenido es este otro:

1: a
1: b
1: c
1: d
1: e
2:
2:

Estoy bastante seguro de que el fallo está en const char *utf8iterator::operator*( ), pero no doy con la tecla.

¿ Alguna sugerencia ?

EDITO

Je, al final no van por ahí los tiros, sino en como lo imprimo en el test; tengo el C++ algo oxidado. La dejo sin responder por un tiempo.

5
  • 1
    Creo que estás obteniendo conclusiones falsas o peor, conclusiones verdaderas por las razones equivocadas. onst char *test = "abcdeññ"; pueden ser cosas (patrones de bits) muy diferentes, dependiendo del editor de texto que estés usando para escribir el código fuente. Por ejemplo, el carácter que se ve como una ´ñ´ en un editor que use ISO-8859-1, será el hexadecimal F1, mientras que el mismo dibujo de 'ñ' (mismo grafema) en un editor que use UTF-8, será C3 B1. Entonces, la variable test en tu programa contendrá cosas completamente distintas, dependiendo del editor en que lo hayas escrito
    – user4717
    el 25 mar. 2017 a las 22:00
  • @asdasdasd Esa template sirve sola y exclusivamente para una cosa: en cadenas codificadas en UTF-8, itera y muestra correctamente sus caracteres individuales. Si la usas sobre otro tipo de codificación (salvo ASCII 7bits), lógicamente, fallará..
    – Trauma
    el 25 mar. 2017 a las 22:08
  • Bien, esa es la idea de mi comentario; en todo caso, deberías aclarar que el resultado del programa depende del editor de texto con el que se haya escrito el código. Por ejemplo "este programa arrojará tal resultado cuando el código se escribe con el Bloc de Notas y se guarda como ANSI, y arroja este otro resultado cuando se escribe en el Bloc de Notas y se guarda como UTF-8"
    – user4717
    el 25 mar. 2017 a las 22:21
  • Si el posible usuario no sabe en que codificación está guardando sus datos, no es problema de la plantilla. Vamos, digo yo ;-) El título es bastante descriptivo: UTF-8
    – Trauma
    el 25 mar. 2017 a las 22:23
  • @asdasdasd No obstante, creo que llevas razón. Editaré y pondré una nota. Para evitar los fallos al realizar pruebas.
    – Trauma
    el 25 mar. 2017 a las 22:27

2 respuestas 2

3

Esto funciona para mi:

int main( void ) {
  const char *test = "abcdeññ";

  utf8iterator< const char * > charIter( test );

  while( *charIter ) {

    std::cout << charIter.calculateSize( )  << ": ";  
    std::cout << charIter << "\n";

    ++charIter;
  }

  return 0;
}

std::cout << *charIter << "\n"; por std::cout << charIter << "\n"; me imagino que ese sera el comportamiento que queria

operator<<

3
  • esta chulo el template. Saludos el 20 mar. 2017 a las 22:33
  • 1
    Bien visto. Me tuvo +1 hora dandole vueltas. ¡ Hasta sobrecargue basic_ostream::operator<<( ) ! ¡ y todo por un * donde no debía !
    – Trauma
    el 21 mar. 2017 a las 6:13
  • ¡¡ Y encima, la plantilla es mia 😨 !!
    – Trauma
    el 21 mar. 2017 a las 6:15
0

Si lo que quieres es interpretar correctamente caracteres en UTF-8 puedes usar wstring en lugar de intentar reinventar la rueda:

// main.cpp

#include <iostream>
#include <locale>
#include <string>

using namespace std;

int main( void ) {
    ios_base::sync_with_stdio(false);
        wcout.imbue(locale("en_US.UTF-8"));

        for (auto const&t : wstring (L"áéíóúññ")){
            wcout << t;
        }

        wcout << endl;
        return 0;
}

Para comprobar su funcionamiento:

$ g++ -I . -std=c++11 -Wall -pedantic -o test main.cpp
$ ./test 

áéíóúññ
2
  • 2
    Gracias, pero lo que quiero es, precisamente, reinventar la rueda; iterarar sobre los caracteres, sean de la anchura que sean. Es un ejercicio de aprendizaje autoimpuesto :-)
    – Trauma
    el 20 mar. 2017 a las 10:36
  • He editado la pregunta; aún estas a tiempo, ya que te has molestado en responder ;-)
    – Trauma
    el 20 mar. 2017 a las 10:56

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.