2

tengo un gran problema al leer/parsear archivos de texto de gran tamaño. El tema es el siguiente son archivos que poseen muchas lineas, cerca de 150k lineas y tengo que leerlos y luego parsear la informacion. Lo hago mediante un fread, leyendo TODO el archivo y luego lo parseo en memoria con sscanf. El formato de archivos es relativamente básico:

[HEADER]
Depth Measurement Unit = ft
Curve Description = 
Curve Measurement Unit = None
Source = imported
Module = ascii-import
[POINTS]
0.1000 78.4980
0.2000 78.6448
0.3000 78.7916
0.4000 79.1416
0.5000 79.6948
0.6000 80.2480
0.7000 80.3952
0.8000 80.5424
... siguen las lineas hasta aprox. 150mil y a veces mas.

Para leerlo, utilizo el siguiente código:

FILE *file;
char *buffer;
unsigned long fileLen;

//Open file
file = fopen(qPrintable(fullpathname), "rb");
if (!file)
{
    return;
}

//Get file length
fseek(file, 0, SEEK_END);
fileLen=ftell(file);
fseek(file, 0, SEEK_SET);

//Allocate memory
buffer=(char *)malloc(fileLen+1);
memset(buffer, '\0', fileLen + 1);
if (!buffer)
{
    fclose(file);
    return;
}

//Read file contents into buffer
fread(buffer, fileLen, 1, file);
fclose(file);

y luego lo parsea, leyendo las lineas y transformando en numeros ambas columnas de la seccion POINTS del archivo. Este es el codigo completo de lectura y parseo:

void LabCurveSA::loadPoints()
{
QString fullpathname = this->m_sPath + this->m_sName + WELL_CURVE_EXTENSION;

FILE *file;
char *buffer;
unsigned long fileLen;

//Open file
file = fopen(qPrintable(fullpathname), "rb");
if (!file)
{
    return;
}

//Get file length
fseek(file, 0, SEEK_END);
fileLen=ftell(file);
fseek(file, 0, SEEK_SET);

//Allocate memory
buffer=(char *)malloc(fileLen+1);
memset(buffer, '\0', fileLen + 1);
if (!buffer)
{
    fclose(file);
    return;
}

//Read file contents into buffer
fread(buffer, fileLen, 1, file);
fclose(file);

//Do what ever with buffer
const char *ptr = buffer;
char field [256] = "\0";
int n;
bool found = false;
char strstart[11] = "[POINTS]\r\0";
while ( sscanf(ptr, "%255[^\n]%n", field, &n) == 1 && !found)
{
    if (!found)
    {
        if (strcmp(field, strstart) == 0)
        {
            found = true;
        }
    }

    ptr += n;
    if ( *ptr != '\n' )
    {
        break;
    }
    ++ptr;
    memset(field, 0, 256);
}

if (found)
{
    int x = 0;
    bool val_ant_null = true;
    while ( sscanf(ptr, "%255[^\n]%n", field, &n) == 1)
    {
        const char *subptr = field;
        char parts[128] = "\0";
        int y;

        double depth, sample;
        QPointF p;

        bool firstnum = true, secondnum = true;
        if (sscanf(subptr, "%127[^ \t]%n", parts, &y) == 1)
        {
            try{
                depth = atof(parts);
            }
            catch(char *str)
            {
                Q_UNUSED(str);
                depth = 0;
                firstnum = false;
            }
            subptr +=y;
            ++subptr;
        }
        memset(parts, 0, 128);
        if (sscanf(subptr, "%127[^ \t]%n", parts, &y) == 1)
        {
            try{
                sample = atof(parts);
            }
            catch(char *str)
            {
                Q_UNUSED(str);
                sample = 0;
                secondnum = false;
            }
        }
        memset(parts, 0, 128);

        if (firstnum && secondnum)
        {
            if (dcomparer(depth, DEqual, 0.0, 4) && x != 0)
            {
                ptr += n;
                if ( *ptr != '\n' )
                {
                    break;
                }
                ++ptr;
                memset(field, 0, 256);
                continue;
            }

            if (x == 0 && val_ant_null && sample >= NULL_POINT)
            {
                ptr += n;
                if ( *ptr != '\n' )
                {
                    break;
                }
                ++ptr;
                memset(field, 0, 256);
                continue;
            }
            else
            {
                if (x != 0)
                {
                    val_ant_null = sample >= NULL_POINT;
                    if (val_ant_null)
                        x = -1;
                }
            }

            if (sample < NULL_POINT)
            {
                if (sample > m_dMax)
                    m_dMax = sample;

                if (sample < m_dMin)
                    m_dMin = sample;
            }

            p.setX(sample);
            p.setY(depth);

            this->m_arPoints.append(p);
            x++;
        }

        ptr += n;
        if ( *ptr != '\n' )
        {
            break;
        }
        ++ptr;
        memset(field, 0, 256);
    }

    if (this->m_arPoints.count() > 0)
    {
        //if (this->m_arPoints.at(0).x() >= NULL_POINT)
        while(this->m_arPoints.at(0).x() >= NULL_POINT)
            this->m_arPoints.remove(0);
    }

    if (this->m_arPoints.count() > 0)
    {
        if (this->m_arPoints.at(this->m_arPoints.count() - 1).x() >= NULL_POINT)
            this->m_arPoints.remove(this->m_arPoints.count() - 1);
    }
}

free(buffer);
}

Este proceso tarda muchisimo...que alternativas existen?...alguien me comentó que se puede guardar como binario dentro de un xml y que eso incrementaria la velocidad de lectura. Alguien me puede dar una idea como puedo acelerar este proceso de lectura y/o escritura?. Gracias

16
  • 2
    ¿ Seguro que es la lectura ? 150000 líneas, a 20 bytes, son aprox. 3Mb. De un tirón, la lectura deberia de ser muy rápida. Mira Which is fastest: read, fread, ifstream or mmap?. No vas a conseguir nada mas rápido que una lectura directa, tal y como lo estás haciendo.
    – Trauma
    Commented el 18 abr. 2017 a las 13:19
  • 1
    Como solución genérica yo usaría dos hilos, uno para lectura y otro para transformación texto-a-número. El primer hilo rellenaría bloques de datos y el segundo los procesaría. La idea es que mientras procesas el bloque de datos X, estarías leyendo el bloque de datos X+1. Commented el 18 abr. 2017 a las 13:23
  • Bien...entonces me estas dando la pauta de que lo que tarda horrores es el parseo...osea, el tiempo se lo está llevando los sscanf de cada linea del buffer que obtuve. Ahora bien...la contra pregunta es como puedo parsear linea a linea (la seccion POINTS) para obtener los numeros de ambas columnas?...esta pregunta me refiero a "VELOCIDAD"...porque leerlo lo leo correctamente. Gracias Commented el 18 abr. 2017 a las 13:24
  • 1
    Es C++. Usa clases. Y solo usa 1 malloc( ). Tampoco hay que crucificarlo por eso ;-)
    – Trauma
    Commented el 18 abr. 2017 a las 13:45
  • 1
    @EmilianoTorres prueba a usar el código de mi respuesta como base. El que tienes entre manos hace aguas por demasiados sitios. Por ejemplo apostaría que algunos memset sobran.
    – eferion
    Commented el 18 abr. 2017 a las 14:56

1 respuesta 1

1
fseek(file, 0, SEEK_END);
fileLen=ftell(file);
fseek(file, 0, SEEK_SET);

En base a la documentación de fseek tenemos lo siguiente:

Binary streams are not required to support SEEK_END, in particular if additional null bytes are output.

Es decir, para lecturas binarias SEEK_END no tiene por qué estar soportado y, en consecuencia, puede funcionar mal.

Si, en cambio, el fichero fuese de texto SEEK_END tampoco es una buena idea porque salvo que te muevas en el mundo ASCII te encontrarás con caracteres que van a ocupar más de 2 caracteres y la reserva final que haces va a ser incorrecta.

Bien, entonces, ¿cómo leer ficheros grandes? En ocasiones lo más sencillo es lo que mejor funciona. A mi personalmente este sistema no me ha dado malos resultados:

std::istream in;
in.open("fichero");
auto ss = std::ostringstream();
ss << in.rdbuf();
std::string contenido = ss.str();

Si ya los ficheros fuesen grandes hasta lo absurdo (varios gigas) empieza a ser recomendable optar por leer el fichero en fragmentos y almacenar los mismos en un contenedor tipo deque:

const size_t tamFragmento = static_cast<std::size_t>(BUFSIZ);
std::array<char,tamFragmento> fragmento;
std::deque<char> contenido;

while( in.read(fragmento.data(),fragmento.size()) || in.gcount() )
{
  contenido.insert(contenido.end(),
                   fragmento.begin(),
                   fragmento.begin() + in.gcount());
}

Se recurre al uso de BUFSIZ porque en teoría esta macro indica un valor adecuado para trabajar eficientemente con los mecanismos de entrada salida.

Un fragmento de la documentación al respecto:

The value of this macro is an integer constant expression that is good to use for the size argument to setvbuf. This value is guaranteed to be at least 256.

The value of BUFSIZ is chosen on each system so as to make stream I/O efficient. So it is a good idea to use BUFSIZ as the size for the buffer when you call setvbuf.

Actually, you can get an even better value to use for the buffer size by means of the fstat system call: it is found in the st_blksize field of the file attributes. See Attribute Meanings.

Sometimes people also use BUFSIZ as the allocation size of buffers used for related purposes, such as strings used to receive a line of input with fgets (see Character Input). There is no particular reason to use BUFSIZ for this instead of any other integer, except that it might lead to doing I/O in chunks of an efficient size.

Dado que esto está pensado para ficheros muy grandes no tiene sentido almacenarlos posteriormente en un único string puesto que es probable que el sistema no consiga encontrar un hueco lo suficientemente grande... procesar este tipo de ficheros va a requerir algo de lógica adicional ya que un registro puede encontrarse en más de un fragmento... en esta vida nada es gratis.


Edito:

Hablando ahora de tu programa. Me he creado para la ocasión un fichero similar al tuyo y he intentado parsearlo con el siguiente código:

struct Point
{
  double x, y;

  Point(double x, double y)
    : x(x), y(y)
  { }
};

int main()
{
  std::ifstream in;

  in.open("../untitled/datos.txt");

  std::string line;
  while( in.good() )
  {
    std::getline(in,line);
    if( line == "[POINTS]" ) break;
  }

  std::list<Point> lista;

  while( in.good() )
  {
    double x, y;
    in >> x >> y;

    lista.push_back(Point(x,y));
  }

  std::cout << lista.size();
}

El programa ha parseado 150.502 puntos en menos de un segundo. Luego el problema del rendimiento es más debido a la gestión que haces de los datos que a la propia lectura del fichero.

1
  • Excelente!. Mil gracias! Commented el 18 abr. 2017 a las 18:35

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.