3

He estado buscando cómo encontrar un valor en una línea y devolver otro valor de otra columna de la misma línea en un archivo CSV.

Esta es mi función y trabaja perfecto en archivos pequeños:

function find_user($filename, $id) {
    $f = fopen($filename, "r");
    $result = false;
    while ($row = fgetcsv($f, 0, ";")) {
        if ($row[6] == $id) {
            $result = $row[5];
            break;
        }
    }
    fclose($f);
    return $result;
}

El problema es que el archivo real con el que debo trabajar pesa 4GB y el tiempo de búsqueda de un valor es tremendo.

Navegando en Stackoverflow encontré el siguiente artículo: https://stackoverflow.com/questions/5249279/file-get-contents-php-fatal-error-allowed-memory-exhausted/5249971#5249971

Ahí brinda una función que en teoría facilita la búsqueda de valores dentro de archivos CSV enormes (parece ser que lo hace por partes), esta es la función:

function file_get_contents_chunked($file,$chunk_size,$callback)
{
    try
    {
        $handle = fopen($file, "r");
        $i = 0;
        while (!feof($handle))
        {
            call_user_func_array($callback,array(fread($handle,$chunk_size),&$handle,$i));
            $i++;
        }

        fclose($handle);

    }
    catch(Exception $e)
    {
         trigger_error("file_get_contents_chunked::" . $e->getMessage(),E_USER_NOTICE);
         return false;
    }

    return true;
}

Y la forma de usarla parece ser esta:

$success = file_get_contents_chunked("my/large/file",4096,function($chunk,&$handle,$iteration){
    /*
        * Do what you will with the {&chunk} here
        * {$handle} is passed in case you want to seek
        ** to different parts of the file
        * {$iteration} is the section fo the file that has been read so
        * ($i * 4096) is your current offset within the file.
    */

});

if(!$success)
{
    //It Failed
}

El problema es que no sé cómo adaptar esta función a mi función de búsqueda que puse inicialmente, mis conocimientos de PHP no son muy altos.

2
  • La función nueva que vistes, lo que te permite es recorrer tu fichero por partes, el primer parámetro del callback es el contenido del archivo acabado de leer, el segundo parámetro es el apuntador al fichero leido y el último es el número de intentos que has empleado para leer el archivo completo. Commented el 28 ago. 2017 a las 12:59
  • Una sugerencia, si estas en Linux, sería hacer un pequeño script que combine grep y awk (casi trivial con esos comandos) Commented el 9 oct. 2017 a las 22:58

1 respuesta 1

0

La función de arriba recorre un fichero por partes, pero estas partes son divididas en fragmentos de 4096 bytes y no por líneas.

La solución que te recomiendo es que guardes tu csv en una tabla mysql de una vez y luego ya podrás ejecutar consultas más concretas.

Para guardar un csv en una tabla mysql puedes utilizar varias vias:
-mysqlrestore -> Comando nativo de mysql
-phpmyadmin -> Tiene una función de importar
-php -> Te curras un script que vaya eliminando las filas ya guardadas del fichero csv y así acortarás el fichero hasta que lo procese completamente.

Si tu servidor te da errores de que no puede procesar una petición con un fichero de 4GB para guardarlo de golpe (opción de phpmyadmin o función propia de php) en quita todos los limites de tiempo de ejecución y de memoria.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.