La mejor opción depende de cada caso en concreto. Para ficheros pequeños prácticamente cualquier método es bueno... cuando hay que afinar es cuando el tamaño del fichero empieza a crecer.
Lo ideal suele ser parsear el fichero. El motivo principal es que si procesamos el fichero y generamos una estructura de datos acorde hay muchas operaciones que realizamos únicamente una vez (conversión de datos, creación de índices, ...). Una vez procesado el fichero el acceso al contenido del mismo suele ser prácticamente instantáneo si la estructura está correctamente indexada.
El parseo del fichero va a consumir un tiempo determinado por lo que si únicamente nos interesa realizar una búsqueda puntual no suele ser la mejor opción (en términos de tiempo).
Bien, en el caso de que vayamos a parsear el fichero hay que saber que no es necesario llevar el fichero a memoria del tirón. Basta con cargar una parte del mismo en memoria y proceder a leerlo de forma secuencial mientras lo vamos parseando. El coste en tiempo de llevar el fichero a memoria es el mismo consumiendo mucha menos memoria en el proceso.
En el caso de no parsear el fichero y realizar búsquedas puntuales lo ideal suele ser proceder como en el caso del parseo. Al fin y al cabo en estos casos acabaremos haciendo una lectura secuencial.
El caso problemático es aquel en el que el fichero no va a ser parseado y tenemos que realizar accesos aleatorios al mismo. En este caso conviene llevar el fichero completo a memoria para agilizar las búsquedas sobre el mismo. Este proceso plantea una serie de problemas acerca de cual es la mejor forma de proceder ya que es muy sencillo meter la pata (sobretodo si nos obsesionamos con el tiempo de acceso).
Nota: Lo que comento a continuación son unas notas de una entrada que encontré hace un tiempo en un blog que no consigo localizar.
Un ejempo ilustrativo: A alguien se le ocurre que la mejor forma de leer un fichero es moverse al final del mismo para conocer el tamaño del fichero y así hacer una única reserva de memoria... después basta con volcar el fichero en la memoria reservada y listo... pues empezamos mal.
Si hacemos la lectura usando las clases de C++:
std::istream in;
// ... abrir el fichero ...
in.seekg(0, std::ios_base::end);
std::string contenido;
contenido.resize(in.tellg());
in.seekg(0);
in.read(&contenido[0], s.size());
y el fichero lo hemos abierto en modo texto algunos caracteres especiales van a ser traducidos, por lo que el tamaño calculado no va a coincidir con lo que vamos a leer:
\r\n
pasará a ser \n
, por lo que reservaremos más memoria de la necesaria
- El código ASCII
0x1A
se puede interpretar como el final del archivo, por lo que no podremos leer todo el fichero.
Sin embargo, si hacemos la lectura con FILE*
y las funciones clásicas de C podemos tener problemas al trabajar con ficheros binarios:
2011 C standard draft (N1570) §7.21.9.4 “The ftell function”, paragraph 2. Similar wording exists in the 1999 standard, §7.19.9.4.: Setting the file position indicator to end-of-file, as with fseek(file, 0, SEEK_END), has undefined behavior for a binary stream (because of possible trailing null characters) or for any stream with state-dependent encoding that does not assuredly end in the initial shift state.
Alguno estará tentado de pensar "Bueno, pues si tengo que leer ficheros binarios lo hago con las clases de C++". No iba a ser todo tan fácil:
2011 C standard draft (N1570) §7.21.3 “Files”, footnote to paragraph 9 (footnote 268). Similar wording exists in the 1999 standard, §7.19.3.: The restrictions on reading and writing a sequence controlled by an object of class basic_filebuf are the same as for reading and writing with the Standard C library FILEs.
Es decir, que te vas a encontrar con el mismo problema. Esto nos lleva a descartar la opción de ir al final del fichero para calcular el tamaño del buffer.
Luego hay otra vertiente que tiende a hacer lo siguiente:
std::string contenidoFichero;
std::copy(std::istreambuf_iterator<char>(in),
std::istreambuf_iterator<char>(),
std::back_inserter(contenidoFichero));
Este mecanismo es lento y elegante a partes iguales. Copiar carácter a carácter es como enviar el contenido de un DVD por red local transfiriendo un único byte por trama.
Una posible solución pasa por usar ignore()
:
// Posición inicial del fichero
const size_t posicionInicial = in.tellg();
// Descartamos todos los caracteres del fichero
in.ignore(std::numeric_limits<std::streamsize>::max());
// Número de caracteres descartados
// nota que coincide con la posición final del fichero
const size_t posicionFinal = in.gcount();
// Volvemos al inicio (el flag EOF se reinicia)
in.seekg(posicionInicial );
std::string contenidoFichero;
contenidoFichero.resize(posicionFinal);
in.read(&contenidoFichero[0],contenidoFinal.size());
El problema que plantea esta solución es que leer dos veces el fichero puede ser contraproducente si el sistema dispone de un mecanismo de entrada salida lento o si, por motivos que no vienen a cuento, no se puede retroceder el puntero de lectura. Para este caso lo ideal es leer el fichero por fragmentos. Llegados a este punto, si utilizamos std::string
para esta tarea nos vamos a encontrar con problemas por las sucesivas llamadas a realloc
, ya que conforme crezca el tamaño del fichero el proceso va a ser exponencialmente más lento. Una opción es utilizar std::deque
para almacenar el contenido del fichero. La gran ventaja de std::deque
es que trabaja como un vector de arrays enlazados. Es un término intermedio entre std::vector
y std::list
y ofrece unas prestaciones envidiables en el caso de ficheros grandes :).
const size_t tamFragmento = 512; // Tamaño al gusto
std::deque<char> contenidoFichero;
// buffer intermedio para leer el ficheor
char fragmento[tamFragmento];
while (in.read(fragmento, tamFragmento) || in.gcount())
{
contenidoFichero.insert(contenidoFichero.end(),
std::begin(fragmento),
std::begin(fragmento) + in.gcount());
}
Finalmente, si se desea, se puede volcar el contenido de std::deque
en un std::string
. En función de la configuración se pueden conseguir mejores tiempos que usando un std::string
desde el principio.
Un saludo.