1

Hola buenas alguien me podría ayudar, a insertar de manera más rapida 100 registros la vez, es que verán, cargo un excel con unos 9800 registro y me tarda aproximadamente unos 35 segundos en hacerme todos los insert, y por ahí, escuche que había una forma de insertar 100 registros a la vez, en vez de ir uno por uno, con un procedimiento batch o algo asi, y como aun soy muy novato en todo esto del desarrollo, no se me ocurre una alternativa a esto. Por cierto uso php con codeigniter 3 y mysql.

Hasta ahora lo que hago es lo siguiente.

en la vista solo tengo un formulario al que hay que poner un fichero excel csv,

se hace una llamada a la función de mi controlador.

 <form id="formDatosExcel" class="form-horizontal" enctype="multipart/form-data" method="post" action="cargarDatosFicheroSubido">

     <div class="">
         <div class="col-lg-12 col-md-offset-2">
             <div class="input-group col-md-8">
                 <input class="mi-input" type="file" name="fileCajero" id="fileExcel"></span>
             </div>
         </div>
     </div>
     <br>

     <div class="col-md-offset-4 col-md-8">
         <button type="submit" class="btn btn-primary"> Subir </button>
     </div>

 </form>

Que es la siguiente

 //controlador

public function cargarDatosFicheroSubido()
    {
        $config['upload_path']          = './files/';
        $config['allowed_types']        = 'csv';
        $config['max_size']             = 0;
        $ahora =  date("Y-n-j_H:i:s");
        $this->upload->initialize($config);
      if ($this->upload->do_upload('fileExcel')) {
          $datosCSV = $this->cargarFichero($_FILES['fileExcel']['tmp_name']);
      }
    }

    public function cargarFichero($rutaFichero)
    {
        if ($this->csvimport->get_array($rutaFichero, array(0, 1, 2, 3, 4, 5, 6, 7, 8))) {
            $csv_array = $this->csvimport->get_array();
            $datosCSV = [];
            foreach ($csv_array as $row) {
                if (empty($row[0]) || $row[0] == 0) continue;
                $row[2] = $this->formatDateFromExcelToMySQL($row[2]);
                $row[4] = $this->formatDateFromExcelToMySQL($row[4]);
                $row[6] = $this->formatDateFromExcelToMySQL($row[6]);
                $this->model->insertDataExcel($row);
            }
        }
    }


//model
    public function insertDataExcel($datosFicheroCSV)
    {
        $this->db->query(
            "INSERT INTO tabla (cam1, cam2, cam3 , cam4, cam5, cam6, cam7 , cam8, cam9 ) 
                VALUES ( ? , ? , ? , ? , ? , ? , ? , ?, ? )",
            array(
                $datosFicheroCSV[0], $datosFicheroCSV[1], $datosFicheroCSV[2],
                $datosFicheroCSV[3], $datosFicheroCSV[4], $datosFicheroCSV[5],
                $datosFicheroCSV[6], $datosFicheroCSV[7], $datosFicheroCSV[8]
            )
        );
        
    }

Aun soy muy notavo y no sé como hacer para que tarde menos, actualmente 9800 registros me tarda como 35 segundos, me gustaría que tardara menos. Alguna alternativa para esto, hago la inserción de uno a uno, y me gustaría poder hacerlos de 100 en 100 o de más.

1
  • Toma en cuenta que el tiempo de subida del archivo puede ser considerable, sobre todo en servicios residenciales, donde no es raro tener un 10% de la velocidad de descarga. A primera vista, en el código que muestras, no se apercibe mejora significativa.
    – Sal
    Commented el 27 abr. 2021 a las 15:27

1 respuesta 1

1

Usa una sentencia proporcionando varias listas de valores o marcas de remplazo ?:

INSERT INTO tabla (lista de campos) VALUES
    (?, ?, ?),
    (?, ?, ?),
    ... (?, ?, ?)

Vas a necesitar un contador de registros para crear las marcas de remplazo ? y un arreglo con todos los valores correspondientes a los registros a insertar.

En cada iteración del ciclo se incrementa el contador y se agregan los datos del registro al arreglo con array_merge(). Solo cuando se tenga la cantidad de registros deseada se hace la inserción y se reinician tanto el contador como el arreglo de valores:

public function cargarFichero($rutaFichero)
{
    if ($this->csvimport->get_array($rutaFichero, array(0, 1, 2, 3, 4, 5, 6, 7, 8))) {

        // Definir máximo de registros a insertar
        $max = 100;
        // Inicializar contador de registros
        $records = 0;
        // Arreglo para acumular valores
        $data = [];
  
        $csv_array = $this->csvimport->get_array();
        $datosCSV = [];
        foreach ($csv_array as $row) {
            if (empty($row[0]) || $row[0] == 0) continue;
 
            $row[2] = $this->formatDateFromExcelToMySQL($row[2]);
            $row[4] = $this->formatDateFromExcelToMySQL($row[4]);
            $row[6] = $this->formatDateFromExcelToMySQL($row[6]);

            // Incrementar contador de registros
            $records ++;
            // Agregar datos al arreglo
            $data = array_merge($data, $row);

            // ¿Ya se acumuló el máximo de registros para insertar?
            if($records == $max) {
                // Envías el contador y los datos
                $this->model->insertDataExcel($records, $data);
                // Reinicias
                $records = 0;
                $data = [];
            }
        }
        // Verificar si quedaron datos por insertar
        if($records > 0) {
            $this->model->insertDataExcel($records, $data);
        }
    }
}

En el modelo usas array_fill() para generar las marcas de remplazo ?, de acuerdo a la cantidad de registros y unir en una sola cadena con implode():

// Recibes la cantidad de registros a insertar y un arreglo con los datos
public function insertDataExcel($records, $data)
{
    // Creas la consulta
    $query = 'INSERT INTO tabla (cam1, cam2, cam3 , cam4, cam5, cam6, cam7 , cam8, cam9 ) VALUES ';
    // Agregar marcas de remplazo
    $query .= implode(', ', array_fill(0, $records, '(?, ?, ?, ?, ?, ?, ?, ?, ?)'));

    // Ejecutar consulta
    $this->db->query($query, $data);
}

Importante: Dependiendo de la longitud de datos en cada registro, podrías incrementar el máximo de registros para insertar o, en caso de algún error, quizá deberías reducirlo; necesitas probar para ver que funcione correctamente y si mejora el rendimiento.

1
  • muchas gracias por tu respuesta y tu tiempo.
    – Peponchez
    Commented el 28 abr. 2021 a las 6:06

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.