tengo un gran problema al leer/parsear archivos de texto de gran tamaño. El tema es el siguiente son archivos que poseen muchas lineas, cerca de 150k lineas y tengo que leerlos y luego parsear la informacion. Lo hago mediante un fread, leyendo TODO el archivo y luego lo parseo en memoria con sscanf. El formato de archivos es relativamente básico:
[HEADER]
Depth Measurement Unit = ft
Curve Description =
Curve Measurement Unit = None
Source = imported
Module = ascii-import
[POINTS]
0.1000 78.4980
0.2000 78.6448
0.3000 78.7916
0.4000 79.1416
0.5000 79.6948
0.6000 80.2480
0.7000 80.3952
0.8000 80.5424
... siguen las lineas hasta aprox. 150mil y a veces mas.
Para leerlo, utilizo el siguiente código:
FILE *file;
char *buffer;
unsigned long fileLen;
//Open file
file = fopen(qPrintable(fullpathname), "rb");
if (!file)
{
return;
}
//Get file length
fseek(file, 0, SEEK_END);
fileLen=ftell(file);
fseek(file, 0, SEEK_SET);
//Allocate memory
buffer=(char *)malloc(fileLen+1);
memset(buffer, '\0', fileLen + 1);
if (!buffer)
{
fclose(file);
return;
}
//Read file contents into buffer
fread(buffer, fileLen, 1, file);
fclose(file);
y luego lo parsea, leyendo las lineas y transformando en numeros ambas columnas de la seccion POINTS del archivo. Este es el codigo completo de lectura y parseo:
void LabCurveSA::loadPoints()
{
QString fullpathname = this->m_sPath + this->m_sName + WELL_CURVE_EXTENSION;
FILE *file;
char *buffer;
unsigned long fileLen;
//Open file
file = fopen(qPrintable(fullpathname), "rb");
if (!file)
{
return;
}
//Get file length
fseek(file, 0, SEEK_END);
fileLen=ftell(file);
fseek(file, 0, SEEK_SET);
//Allocate memory
buffer=(char *)malloc(fileLen+1);
memset(buffer, '\0', fileLen + 1);
if (!buffer)
{
fclose(file);
return;
}
//Read file contents into buffer
fread(buffer, fileLen, 1, file);
fclose(file);
//Do what ever with buffer
const char *ptr = buffer;
char field [256] = "\0";
int n;
bool found = false;
char strstart[11] = "[POINTS]\r\0";
while ( sscanf(ptr, "%255[^\n]%n", field, &n) == 1 && !found)
{
if (!found)
{
if (strcmp(field, strstart) == 0)
{
found = true;
}
}
ptr += n;
if ( *ptr != '\n' )
{
break;
}
++ptr;
memset(field, 0, 256);
}
if (found)
{
int x = 0;
bool val_ant_null = true;
while ( sscanf(ptr, "%255[^\n]%n", field, &n) == 1)
{
const char *subptr = field;
char parts[128] = "\0";
int y;
double depth, sample;
QPointF p;
bool firstnum = true, secondnum = true;
if (sscanf(subptr, "%127[^ \t]%n", parts, &y) == 1)
{
try{
depth = atof(parts);
}
catch(char *str)
{
Q_UNUSED(str);
depth = 0;
firstnum = false;
}
subptr +=y;
++subptr;
}
memset(parts, 0, 128);
if (sscanf(subptr, "%127[^ \t]%n", parts, &y) == 1)
{
try{
sample = atof(parts);
}
catch(char *str)
{
Q_UNUSED(str);
sample = 0;
secondnum = false;
}
}
memset(parts, 0, 128);
if (firstnum && secondnum)
{
if (dcomparer(depth, DEqual, 0.0, 4) && x != 0)
{
ptr += n;
if ( *ptr != '\n' )
{
break;
}
++ptr;
memset(field, 0, 256);
continue;
}
if (x == 0 && val_ant_null && sample >= NULL_POINT)
{
ptr += n;
if ( *ptr != '\n' )
{
break;
}
++ptr;
memset(field, 0, 256);
continue;
}
else
{
if (x != 0)
{
val_ant_null = sample >= NULL_POINT;
if (val_ant_null)
x = -1;
}
}
if (sample < NULL_POINT)
{
if (sample > m_dMax)
m_dMax = sample;
if (sample < m_dMin)
m_dMin = sample;
}
p.setX(sample);
p.setY(depth);
this->m_arPoints.append(p);
x++;
}
ptr += n;
if ( *ptr != '\n' )
{
break;
}
++ptr;
memset(field, 0, 256);
}
if (this->m_arPoints.count() > 0)
{
//if (this->m_arPoints.at(0).x() >= NULL_POINT)
while(this->m_arPoints.at(0).x() >= NULL_POINT)
this->m_arPoints.remove(0);
}
if (this->m_arPoints.count() > 0)
{
if (this->m_arPoints.at(this->m_arPoints.count() - 1).x() >= NULL_POINT)
this->m_arPoints.remove(this->m_arPoints.count() - 1);
}
}
free(buffer);
}
Este proceso tarda muchisimo...que alternativas existen?...alguien me comentó que se puede guardar como binario dentro de un xml y que eso incrementaria la velocidad de lectura. Alguien me puede dar una idea como puedo acelerar este proceso de lectura y/o escritura?. Gracias
malloc( )
. Tampoco hay que crucificarlo por eso ;-)memset
sobran.