1

tengo un archivo csv "uso_suelo.csv" con 130.000 filas aprox y mas de 40 columnas

Estoy trabajando con laravel 5.8 y postgresql y tratando de importarlo con laravel excel 3.1, usando las funciones que proporciona:

Este es mi clase Import en la que solo importo 18 columnas que necesito (colocaré solo 3 para no alargar tanto el código):

<?php

namespace App\Imports;

use App\UsoSuelo;
use Maatwebsite\Excel\Concerns\ToModel;
use Maatwebsite\Excel\Concerns\WithHeadingRow;
use Maatwebsite\Excel\Concerns\WithChunkReading;
use Illuminate\Contracts\Queue\ShouldQueue;

class UsoSueloImport implements ToModel, WithHeadingRow, WithChunkReading, ShouldQueue
{
    /**
    * @param array $row
    *
    * @return \Illuminate\Database\Eloquent\Model|null
    */
    public function model(array $row)
    {
        return new UsoSuelo([
            'cod_pais'     => $row['cod_pais'],
            'cod_fundo'     => $row['cod_fundo'],
            'nom_fundo'     => $row['nom_fundo'],

        ]);
    }

    public function chunkSize(): int
    {
        return 5000;
    }
}

Aqui mi controlador que es básicamente un llamado a otra función:

class ImportController extends Controller
{
    use storeTrait  {
        storeUsoSuelo as storeUsoSuelos;
        storeFundo as storeFundos;
        storeFundoGrilla as storeFundoGrillas;
        storeCuadrante as storeCuadrantes;

    }

        public function store(Request $request)
        {
            $usoSuelo = 'uso_suelo.csv';
            $this->storeUsoSuelos($usoSuelo);

            $cuadrante = 'cuadrantes.csv';
            $this->storeCuadrantes($cuadrante);

            $fundo = 'mv_qav_fundos.csv';
            $this->storeFundos($fundo);

            $fundoGrilla = 'fundos_grilla.csv';
            $this->storeFundoGrillas($fundoGrilla);

            return Redirect::route('filtro-datos.index');
    }}

Y por último mi archivo storeTrait.php donde hago el llamado a mi clase Import

<?php

namespace App\Traits;
use Illuminate\Http\Request;
use App\Imports\UsoSueloImport;
use App\Imports\CuadrantesImport;
use App\Imports\FundosImport;
use App\Imports\FundosGrillasImport;
use Maatwebsite\Excel\Facades\Excel;

trait storeTrait{

    public function storeUsoSuelo($archivo) {
        Excel::import(new UsoSueloImport,$archivo); 
    }
    public function storeFundo($archivo) {
        Excel::import(new FundosImport,$archivo); 
    }
    public function storeFundoGrilla($archivo) {
        Excel::import(new FundosGrillasImport,$archivo); 
    }
    public function storeCuadrante($archivo) {
        Excel::import(new CuadrantesImport,$archivo); 
    }
}

Porqué hago esto? Ya que necesito subir varios archivos a la vez, cabe mencionar que con un archivo pequeño de "uso_suelo.csv" de menos de 1000 filas esto funciona perfectamente

Pero cuando trato de cargar el de 130.000 filas tras 1 minuto me sale el siguiente error:

"Maximum execution time of 60 seconds exceeded"

Dado esto cambie mi php.ini y le puse esto max_execution_time=240

Pero me sigue dando el mismo error, y luego del minuto solo se han importado 5000 filas

Porfa alguien que me ayude :(

1 respuesta 1

0

Para manejar la importación de numerosa cantidad de filas, es bueno acompañar el Chunk import con Batch.

With the WithBatchInserts concern you can limit the amount of queries done by specifying a batch size. This will drastically reduce the import duration.

Por lo que el primer paso sería hacer pruebas para obtener el número óptimo que debes usar aquí.

public function batchSize(): int
{
    return 1000;
}

Posterior a eso, debes recordar que max_execution_time está en segundos, por lo que 240 pueden no ser suficientes. Una manera de evitar dicha limitación es utilizando:

set_time_limit(0);

Ya que haciendo eso no hay límite pero OJO, no es recomendable hacer eso. Y en general, no es recomendable actualizar la variable max_execution_time en absoluto.

Lo que se debe hacer en lugar de eso es optimizar el proceso. En tu caso, utilizando Batch Imports y también hacer uso de Queues o colas, en Laravel.

Hay un ejemplo en la documentación de Laravel Excel que puedes usar para guiarte. Implementar el proceso con colas, ayudará a que tu aplicación ejecute esta tarea, que toma mucho tiempo, en segundo plano.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.