NOTA
Aunque no afecta al código de la plantilla (utf8iterator.hpp
), el main.cpp
depende de la codificación usada al guardarlo para funcionar correctamente. En mi sistema, trabajo con UTF-8, y dicho main.cpp
se guarda en la misma codificación.
Gracias al usuario @asdasdasd por hacérmelo notar con sus comentarios.
FIN DE LA NOTA
Tras leer esta pregunta: ¿Porqué cout no muestra vocales con tilde ni “ñ” con gcc 4.9.4?, sentí la incontrolable necesidad de iterar sobre caracteres individuales dentro de una ::std::string
, o dentro de un const char[]
.
Tras documentarme un poco en la página de la Wikipedia sobre UTF-8 (en inglés), codifiqué esta simple plantilla
// utf8iterator.hpp
#ifndef UTF8ITERATOR_HPP
#define UTF8ITERATOR_HPP
#include <cstddef>
template< typename T > struct utf8iterator {
//static constexpr char ReplacementCharacter[4] { '\xEF', '\xBF', '\xBD', '\x00' };
T ptr;
::size_t size; // Tamaño del caracter, en bytes. == 0 -> ptr ha cambiado.
// Su única misión es evitar escrituras no necesarias.
char bytes[5]; // Máximo tamaño de un UTF-8 es 4. Dejamos sitio para el 0 al final.
utf8iterator( const T &p ) :
ptr( p ),
size( 0 )
{
bytes[4] = 0; // Solo lo hacemos 1 vez. Nunca se sobreescribe.
}
utf8iterator &operator=( const T &iter ) {
ptr = iter;
size = 0;
return *this;
// Ya hicimos 'bytes[4] = 0' en el constructor.
}
bool operator==( const utf8iterator< T > &other ) const noexcept { return ptr == other.ptr; }
bool operator!=( const utf8iterator< T > &other ) const noexcept { return ptr != other.ptr; }
::size_t calculateSize( ) const {
if( ( *ptr & 248 ) == 240 ) { // 11110
return 4;
} else if( ( *ptr & 240 ) == 224 ) { // 1110
return 3;
} else if( ( *ptr & 224 ) == 192 ) // 110
return 2;
return 1;
}
utf8iterator &operator++( ) {
if( size ) {
ptr += size;
size = 0; // Al cambiar 'ptr', se invalida 'size'.
} else
ptr += calculateSize( ); // 'size' ya es inválido.
return *this;
}
utf8iterator operator++( int ) {
utf8iterator tmp( *this );
if( size ) {
ptr += size;
size = 0; // Al cambiar 'ptr', se invalida 'size'.
} else
ptr += calculateSize( ); // 'size' ya es inválido.
return tmp;
}
operator const char *( ) {
// Si 'size' es inválido, tenemos que calcular el tamaño del caracter, en bytes.
if( !size ) {
::size_t c;
T iter( ptr );
size = calculateSize( );
// Subsceptible de optimizar, especializando para < const char * >, y usando ::std::memcpy( ).
// Copiamos los bytes indicados en 'size' al buffer 'bytes'.
for( c = 0; c != size; ++c ) {
bytes[c] = *iter;
++iter;
}
// En el constructor, hicimos 'bytes[4] = 0'. Las escrituras son costosas.
// Solo ponemos el 0 si 'bytes != 4'.
if( size != 4 )
bytes[size] = 0;
}
return bytes;
}
};
#endif
Acompañado de un pequeño código de prueba
// main.cpp
#include <iostream>
#include "utf8iterator.hpp"
int main( void ) {
const char *test = "abcdeññ";
utf8iterator< const char * > charIter( test );
while( *charIter ) {
std::cout << charIter.size( ) << ": ";
std::cout << *charIter << "\n";
++charIter;
}
std::cout << std::endl;
return 0;
}
Todo ello compila correctamente con
g++ -I . -std=c++11 -Wall -pedantic -o test test.cpp
El resultado esperado sería
1: a
1: b
1: c
1: d
1: e
2: ñ
2: ñ
Sin embargo, el resultado obtenido es este otro:
1: a
1: b
1: c
1: d
1: e
2:
2:
Estoy bastante seguro de que el fallo está en const char *utf8iterator::operator*( )
, pero no doy con la tecla.
¿ Alguna sugerencia ?
EDITO
Je, al final no van por ahí los tiros, sino en como lo imprimo en el test; tengo el C++ algo oxidado. La dejo sin responder por un tiempo.
onst char *test = "abcdeññ";
pueden ser cosas (patrones de bits) muy diferentes, dependiendo del editor de texto que estés usando para escribir el código fuente. Por ejemplo, el carácter que se ve como una ´ñ´ en un editor que use ISO-8859-1, será el hexadecimal F1, mientras que el mismo dibujo de 'ñ' (mismo grafema) en un editor que use UTF-8, será C3 B1. Entonces, la variabletest
en tu programa contendrá cosas completamente distintas, dependiendo del editor en que lo hayas escrito