4

despues de resolver este ejercicio con esta respuesta me surgio la duda si es recomendable cargar todo un archivo de texto a un srting. y si no es aconsejable, que otras alternativas existen para el caso anteriormente mostrado.

asi es como lo realizo:

//linea 14
while(!txt.eof()){
    getline(txt,s);
    t = t + s +'\n';// asi es como cargo todo el archivo al string
}
//linea 19

string:s , t

ifstream:txt

4 respuestas 4

9

¿Por qué no iba a serlo? Si tienes memoria suficiente para almacenar el archivo tenerlo en memoria RAM será en generál, más rápido que leerlo de disco:



(fuente: acm.org)

(nótese que la escala es logarítmica).


Pero hay que tener en cuenta que para tener el archivo en RAM previamente debes haberlo leído de disco así que el ahorro en tiempo de acceso dependerá en las veces que tengas que leer el contenido.

Así pues, como norma general:

  • Vuelca el archivo a un string (RAM) si vas a usar su contenido con frecuencia y necesitas velocidad y no tienes limitaciones de memoria.
  • No vuelques el archivo a memoria si no necesitas un acceso rápido y habitual a su contenido o tienes limitaciones de memoria.

Por otro lado, tu algoritmo tiene problemas de rendimiento y de uso:

while(!txt.eof()){
    getline(txt,s);
    t = t + s +'\n';// asi es como cargo todo el archivo al string
}

En primer lugar, al concatenar en un std::string estás realojando memoria contínuamente: cada vez que el std::string se queda sin espacio reservado debe:

  1. Reservar más memoria
  2. Mover los datos leídos anteriormente.
  3. Borrar la memoria anterior.

Para evitar este problema deberías reservar memoria para tu std::string de golpe, antes de leer el contenido del archivo:

// Apuntamos al final del archivo
txt.seekg(std::ios_base::end);
/* Consultamos el tamanyo y lo usamos para reservar
DE GOLPE toda la memoria necesaria en el string */
t.reserve(txt.tellg());
// Volvemos al inicio del archivo
txt.seekg(std::ios_base::beg);

while(!txt.eof()){
    getline(txt,s);
    // concatenamos el contenido
    t.append(s + '\n');
}

Para acabar, el uso de std::basic_ios::eof en bucle es incorrecto. El bit de final de archivo se establece después de leer, así que si ya has alcanzado el final del archivo no saldrás del bucle hasta que hayas hecho una lectura adicional, que será incorrecta. Te propongo que cambies el bucle así:

txt.seekg(std::ios_base::end);
t.reserve(txt.tellg());
txt.seekg(std::ios_base::beg);

while(!getline(txt,s).eof()){
    // concatenamos el contenido
    t.append(s + '\n');
}

De esta manera primero lees y después compruebas el final del archivo.

7
  • Cuidado con tellg para reservar el buffer de lectura (revisa mi respuesta) ;)
    – eferion
    Commented el 19 oct. 2016 a las 10:28
  • @eferion ¿Te refieres a las diferencias de codificación de los retornos de carro? Commented el 19 oct. 2016 a las 10:42
  • usar tellg en modo texto no es correcto porque hay caracteres que pueden dar problemas y en modo binario no es correcto usar fseek al final del fichero porque provoca un comportamiento indeterminado.
    – eferion
    Commented el 19 oct. 2016 a las 10:46
  • @eferion tienes razón, mas el autor de la pregunta no muestra en qué modo ha abierto el fichero... aunque podemos deducir que seguramente ha sido en modo texto. Creo que en lugar de truqitos de ignore, fseek, tellg, etc... deberíamos usar el file system, por desgracia no estará disponible hasta la aprovación de C++17) :( Commented el 19 oct. 2016 a las 10:51
  • Mientras tanto toca sobrevivir con lo que tenemos
    – eferion
    Commented el 19 oct. 2016 a las 10:54
2

La mejor opción depende de cada caso en concreto. Para ficheros pequeños prácticamente cualquier método es bueno... cuando hay que afinar es cuando el tamaño del fichero empieza a crecer.

Lo ideal suele ser parsear el fichero. El motivo principal es que si procesamos el fichero y generamos una estructura de datos acorde hay muchas operaciones que realizamos únicamente una vez (conversión de datos, creación de índices, ...). Una vez procesado el fichero el acceso al contenido del mismo suele ser prácticamente instantáneo si la estructura está correctamente indexada.

El parseo del fichero va a consumir un tiempo determinado por lo que si únicamente nos interesa realizar una búsqueda puntual no suele ser la mejor opción (en términos de tiempo).

Bien, en el caso de que vayamos a parsear el fichero hay que saber que no es necesario llevar el fichero a memoria del tirón. Basta con cargar una parte del mismo en memoria y proceder a leerlo de forma secuencial mientras lo vamos parseando. El coste en tiempo de llevar el fichero a memoria es el mismo consumiendo mucha menos memoria en el proceso.

En el caso de no parsear el fichero y realizar búsquedas puntuales lo ideal suele ser proceder como en el caso del parseo. Al fin y al cabo en estos casos acabaremos haciendo una lectura secuencial.

El caso problemático es aquel en el que el fichero no va a ser parseado y tenemos que realizar accesos aleatorios al mismo. En este caso conviene llevar el fichero completo a memoria para agilizar las búsquedas sobre el mismo. Este proceso plantea una serie de problemas acerca de cual es la mejor forma de proceder ya que es muy sencillo meter la pata (sobretodo si nos obsesionamos con el tiempo de acceso).

Nota: Lo que comento a continuación son unas notas de una entrada que encontré hace un tiempo en un blog que no consigo localizar.

Un ejempo ilustrativo: A alguien se le ocurre que la mejor forma de leer un fichero es moverse al final del mismo para conocer el tamaño del fichero y así hacer una única reserva de memoria... después basta con volcar el fichero en la memoria reservada y listo... pues empezamos mal.

Si hacemos la lectura usando las clases de C++:

std::istream in;
// ... abrir el fichero ...
in.seekg(0, std::ios_base::end);
std::string contenido;
contenido.resize(in.tellg());
in.seekg(0);
in.read(&contenido[0], s.size());

y el fichero lo hemos abierto en modo texto algunos caracteres especiales van a ser traducidos, por lo que el tamaño calculado no va a coincidir con lo que vamos a leer:

  • \r\n pasará a ser \n, por lo que reservaremos más memoria de la necesaria
  • El código ASCII 0x1A se puede interpretar como el final del archivo, por lo que no podremos leer todo el fichero.

Sin embargo, si hacemos la lectura con FILE* y las funciones clásicas de C podemos tener problemas al trabajar con ficheros binarios:

2011 C standard draft (N1570) §7.21.9.4 “The ftell function”, paragraph 2. Similar wording exists in the 1999 standard, §7.19.9.4.: Setting the file position indicator to end-of-file, as with fseek(file, 0, SEEK_END), has undefined behavior for a binary stream (because of possible trailing null characters) or for any stream with state-dependent encoding that does not assuredly end in the initial shift state.

Alguno estará tentado de pensar "Bueno, pues si tengo que leer ficheros binarios lo hago con las clases de C++". No iba a ser todo tan fácil:

2011 C standard draft (N1570) §7.21.3 “Files”, footnote to paragraph 9 (footnote 268). Similar wording exists in the 1999 standard, §7.19.3.: The restrictions on reading and writing a sequence controlled by an object of class basic_filebuf are the same as for reading and writing with the Standard C library FILEs.

Es decir, que te vas a encontrar con el mismo problema. Esto nos lleva a descartar la opción de ir al final del fichero para calcular el tamaño del buffer.

Luego hay otra vertiente que tiende a hacer lo siguiente:

std::string contenidoFichero;
std::copy(std::istreambuf_iterator<char>(in),
          std::istreambuf_iterator<char>(),
          std::back_inserter(contenidoFichero));

Este mecanismo es lento y elegante a partes iguales. Copiar carácter a carácter es como enviar el contenido de un DVD por red local transfiriendo un único byte por trama.

Una posible solución pasa por usar ignore():

// Posición inicial del fichero
const size_t posicionInicial = in.tellg();

// Descartamos todos los caracteres del fichero
in.ignore(std::numeric_limits<std::streamsize>::max());

// Número de caracteres descartados
// nota que coincide con la posición final del fichero
const size_t posicionFinal = in.gcount();

// Volvemos al inicio (el flag EOF se reinicia)
in.seekg(posicionInicial );

std::string contenidoFichero;
contenidoFichero.resize(posicionFinal);
in.read(&contenidoFichero[0],contenidoFinal.size());

El problema que plantea esta solución es que leer dos veces el fichero puede ser contraproducente si el sistema dispone de un mecanismo de entrada salida lento o si, por motivos que no vienen a cuento, no se puede retroceder el puntero de lectura. Para este caso lo ideal es leer el fichero por fragmentos. Llegados a este punto, si utilizamos std::string para esta tarea nos vamos a encontrar con problemas por las sucesivas llamadas a realloc, ya que conforme crezca el tamaño del fichero el proceso va a ser exponencialmente más lento. Una opción es utilizar std::deque para almacenar el contenido del fichero. La gran ventaja de std::deque es que trabaja como un vector de arrays enlazados. Es un término intermedio entre std::vector y std::list y ofrece unas prestaciones envidiables en el caso de ficheros grandes :).

const size_t tamFragmento = 512; // Tamaño al gusto

std::deque<char> contenidoFichero;

// buffer intermedio para leer el ficheor
char fragmento[tamFragmento];

while (in.read(fragmento, tamFragmento) || in.gcount())
{
  contenidoFichero.insert(contenidoFichero.end(),
                          std::begin(fragmento),
                          std::begin(fragmento) + in.gcount());
}

Finalmente, si se desea, se puede volcar el contenido de std::deque en un std::string. En función de la configuración se pueden conseguir mejores tiempos que usando un std::string desde el principio.

Un saludo.

2
  • Lo leíste de aquí: cpp.indi.frih.net/blog/2014/09/…
    – ABu
    Commented el 19 oct. 2016 a las 10:27
  • Gracias por encontrarlo... me volveré a apuntar el enlace para futuras referencias.
    – eferion
    Commented el 19 oct. 2016 a las 10:28
1

Como casi de todo en programación, no hay respuesta "correcta"; dependerá de qué quieres hacer con los datos y de los parámetros de tu situación (cuántos archivos manejas, con que frecuencia operas sobre ellos o tienes que cambiar, qué operaciones quieres hacer).

El problema obvio de meter los archivos en memoria es, evidentemente, que ocupan memoria (y también RAM :-D). No es algo que normalmente te vaya a preocupar para unos pocos archivos pequeños, pero no siempre son pequeños (un archivo creado a mano será normalmente pequeño, pero un fichero de log puede tener 100 MB o los que quiera poner el que los configure).

Una cuestión adicional es que la implementación de string tiene un tamaño máximo (max_size()) que es específico de la plataforma.

La ventaja de tener el archivo en memoria es principalmente que las operaciones sobre él son rápidas y sencillas. Cuantas más operaciones tengas que hacer sobre el mismo fichero antes de "descargarlo", más a cuenta te sale tenerlo en memoria.

Así que la regla es que cuántas más operaciones tengas que hacer, más te conviene la memoria, y cuanto más ocupe el fichero, más te conviene otra solución (que puede ser cargarlo por trozos, particionarlo, reconstruir la estructura que te interesa del fichero en memoria, etc... lo dicho, no hay soluciones "universales").

Una nota... mi C++ está algo oxidado, pero si no me equivoco el código que empleas hace que, en cada iteración, se cree un nuevo objeto string1 con todo el texto leído hasta el momento. Eso significa que internamente, a cada iteración hay que hacer un malloc con el tamaño del texto leído hasta el momento y copiar del buffer antiguo al nuevo. Para ficheros pequeños en un ordenador moderno va bien, pero intenta cargar un fichero de 20MB y ya verás que risa si cada línea supone un malloc y copia de 20M bytes. Naturalmente, si sólo vas a usar el programa con ficheros pequeños no hay problema y tu solución se lee muy fácilmente, pero si vas a querer tratar ficheros grandes habrá que hacer algo más sofisticado (¿he mencionado ya que no hay una estrategia universal que funcione para todos los programas?).

1 De hecho creo que crea 2 string por iteración, uno para la subexpresion t + s y otro para (t + s) + '\n'... Yuppii! y eso suponiendo que el compilador sea inteligente y no cree una copia del buffer al hacer la asignación a t (es razonable pensar que lo será).

0

A mí me parece correcto almacenarlo en un String para utilizarlo en un ciclo. Puedes hacerlo así también.

    string linea, archivo;
    while(getline(file, linea))
        archivo += linea + "\n";
    cout << archivo;
}

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.