2

Esto recibiendo el siguiente error:

Fatal error: Allowed memory size of 33554432 bytes exhausted (tried to allocate 2 bytes) in C:\xampp\htdocs\servisa\Excel\reader.php on line 482

Tengo que leer un archivo de Excel muy grande (13 mb, 9000 filas) e insertar todos estos datos de una tabla de mi base de datos MySQL.

Lo que hago es cargar todos las datos del excel en un array, y luego genero cada sentencia insert recorriendo el array. Luego concateno cada insert en una sola consulta gigante.

Me pareció que esto era mas apropiado que realizar 9000 inserts a la base de datos. ¿Alguien sugiere alguna mejor manera de hacerlo, con menos consumo de memoria?

¡Gracias!

Aquí esta my codigo:

require_once 'Excel/reader.php';
    $data = new Spreadsheet_Excel_Reader();
    $data->setOutputEncoding('CP1251');
    $data->read('PAMI/PAMI.XLS');
    $arreglo = array(array());
    for ($i = 1; $i <= $data->sheets[0]['numRows']; $i++) 
    {
        if ($i == 1)
            continue;

        $nomCompleto = mysql_real_escape_string($data->sheets[0]['cells'][$i][3]);//str_replace("`", "", str_replace("'", "", $data->sheets[0]['cells'][$i][3]));
        $parts = explode(" ", $nomCompleto);
        $apellido = array_shift($parts);
        $nombre = implode(" ", $parts);
        $nroBenef = $data->sheets[0]['cells'][$i][1];
        $dni =  $data->sheets[0]['cells'][$i][5];

        $tipoDni = $data->sheets[0]['cells'][$i][4];
        $sexo = $data->sheets[0]['cells'][$i][8];
        $domicilio = $data->sheets[0]['cells'][$i][9];//mysql_real_escape_string($data->sheets[0]['cells'][$i][9].' '.$data->sheets[0]['cells'][$i][10]);

        $date = str_replace('/', '-', $data->sheets[0]['cells'][$i][6]);
        $fnac = date('Y-m-d', strtotime($date));

        $arreglo[$i][0] = $apellido;
        $arreglo[$i][1] = $nombre;
        $arreglo[$i][2] = $dni;
        $arreglo[$i][3] = $nroBenef;
        $arreglo[$i][4] = $tipoDni;
        $arreglo[$i][5] = $sexo;
        $arreglo[$i][6] = $domicilio;
        $arreglo[$i][7] = $fnac;
    }   

    $sql ="insert into clientespami (apellido,nombre,dni,nroBeneficiario,tipoDni,sexo,domicilio,fechaNac) values ";
    $valuesArr = array();
    foreach($arreglo as $fila)
    {

        $ape = $fila[0];
        $nom = $fila[1];
        $dni = $fila[2];
        $ben = $fila[3];

        $tipo = $fila[4];
        $sex = $fila[5];
        $domi = $fila[6];
        $nac = $fila[7];

        $valuesArr[] = "('$ape', '$nom', '$dni','$ben','$tipo','$sex','$domi','$nac')";
    }

    $sql .= implode(',', $valuesArr);
    //echo $sql;
    mysql_query($sql,$conexion);
    $cant = mysql_affected_rows();
5
  • parece ser que superó la cuota de php_value_memory_limit, tenés la posibilidad de chequearlo ? podés agregar un archivo con esta llamada <?php phpinfo(); ?> y chequear cuanto es tu límite?
    – Alan
    el 11 abr. 2016 a las 22:51
  • el tamaño que tengo definido en php.ini es 32MB. pero no me pareció que aumentar el tamaño de memoria sea una buena solucion. creo que el codigo atenta en contra del consumo de memoria el 11 abr. 2016 a las 22:58
  • algunos sugieren esto en tu código: ini_set('memory_limit', '-1');
    – Alan
    el 11 abr. 2016 a las 23:02
  • o setear ini_set('memory_limit', '32M'); o lo que consideres prudente.
    – Alan
    el 11 abr. 2016 a las 23:05
  • 1
    @martin.softpro 32 megas es acsi nivel debug, considera que un servidor productivo te dedica, al menos 512 MB para php. Si sobrepasas ese límite comienza a revisar código. Además, de por si, cualquier librería o forma usada para leer excel con php satura mucho la memoria (levanta bytes por cada celda, para que me entiendas). Te recomiendo (a mi me funcionó) leer la data y guardarla en un array tal como lo quieras insertar, luego liberar manualmente la memoria de la librería php, y con éste array generes los insert into (incluso, mejorará el rendimiento si lo haces de a 100 insert por vez)
    – h40s4m4
    el 12 abr. 2016 a las 14:59

3 respuestas 3

1

Una de las razones es que estas creando un array demasiado grande ($valuesArr) y luego convirtiéndolo a un string, por otra lado no es recomendable usar mysql_query ya que se encuentra obsoleto.

Te sugiero usar PDO, un ejemplo podría ser algo como esto

$stmt = $pdo->prepare('INSERT INTO foo VALUES(:a, :b, :c)');
foreach($data as $item) {
    $stmt->bindValue(':a', $item[0]);
    $stmt->bindValue(':b', $item[1]);
    $stmt->bindValue(':c', $item[2]);
    $stmt->execute();
}

PDO

0

Considero que debes ejecutar el script PHP desde linea de comandos. No lo hagas desde el navegador. Además de esta forma puedes indicarle a PHP que para esta ejecución asigne un límite de memoria ilimitado tan solo con el sig comando:

$ php -d memory_limit=-1 script.php
0

Si es un archivo grande lo ideal es hacerlo a través de la línea de comando. Tambien existen aplicaciones PHP en google que hacen un "strip" del archivo y lo va haciendo de a partes. Phpmyadmin tambien tiene una funcion oculta para grandes listas de datos.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.