3

Ocurre que tengo un aplicativo web simple que solo recibe unos ciertos parámetros y me arroje un reporte en excel con la información detallada en base a estos parámetros.

La consulta ya está terminada y arroja una gran cantidad de datos (es información de dos tablas en la cual una posee 25 millones de registros y otra posee 65 mil) y dicha consulta ya está indexada y en MySQL me responde en 1 minuto como máximo.

El problema aquí es que al intentar generar dicho reporte en Excel me lanza el siguiente error:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 54 bytes)

Investigué en Internet y vi que las soluciones dadas eran entrar al php.ini y modificar el memory_limit o a 512M o a -1 o también agregar la siguiente línea en el código:

 ini_set('memory_limit', '-1');

Realicé esto y sí, el error se detuvo, pero ahora la página cae mientras realiza el proceso.

No sé si quizá alguien más tiene alguna otra alternativa diferente o las que use fueron las únicas posibles. ¡Agradecería mucho la ayuda brindada!.

Utilizo PHPExcel-1.8 para generar estos archivos de Excel.

2
  • Siento informarte que el consumo de memoria de PHPExcel es exponencial respecto al número de registros. He sufrido tu mismo problema conforme unos informes aumentaban de tamaño y terminamos implementando nuestro propio sistema de generación del archivo XLSX a partir de un archivo ZIP con la estructura base. Aunque elimines el límite de memoria es probable que te quedes sin memoria en el equipo y éste se vuelva inestable. Commented el 12 feb. 2019 a las 16:12
  • Una pregunta, veo que esta pregunta la hiciste en 2017 y desde entonces PHPExcel se abandonó en favor de https://github.com/PHPOffice/PhpSpreadsheet. Voy a comprobar si existen los mismos problemas de memoria en esta nueva versión y redactar una respuesta con mis sugerencias para futuros usuarios que vengan aquí con el mismo problema. Commented el 13 feb. 2019 a las 9:51

3 respuestas 3

4

Descripción del problema

Tanto PHPExcel como PhpSpreadsheet tienen un problema de escalabilidad muy serio. En ambos cada celda con datos de tu hoja de cálculo ocupa en media 1 KiB. Además, tal y como veremos a continuación en las gráficas, el tiempo para procesar el trabajo de crear la hoja, poblarla de datos y guardarla aumenta exponencialmente en los dos.

Por poner un ejemplo, una hoja de cálculo con 200.000 filas y 15 columnas ocuparía en memoria 200.000 · 15 · 1 KiB = 3.000.000 KiB, unos 2.86 GiB de RAM.

Esto puede leerse en la documentación del uso de memoria de PhpSpreadsheet (sucesor de PHPExcel):

PhpSpreadsheet uses an average of about 1k per cell in your worksheets, so large workbooks can quickly use up available memory. Cell caching provides a mechanism that allows PhpSpreadsheet to maintain the cell objects in a smaller size of memory, or off-memory (eg: on disk, in APCu, memcache or redis). This allows you to reduce the memory usage for large workbooks, although at a cost of speed to access cell data.

En castellano:

PhpSpreadsheet (y PHPExcel) usan una media de 1k por celda de tus hojas, por lo que las hojas de cálculo grandes pueden usar rápidamente toda la memoria disponible. La caché de celdas provee a PhpSpreadsheet un mecanismo que le permite mantener los objetos de celda en un tamaño más pequeño de memoria, o fuera de memoria (pe: en disco, en APCu, memcache o redis). Esto te permite reducir el uso de memoria para hojas de cálculo grandes, This allows you to reduce the memory usage for large workbooks, aunque a costa de velocidad de acceso a los datos de las celdas.

Tal y como veremos a continuación en las gráficas, esa media de uso de memoria es muy acertada, pero el efecto de usar una caché apenas es apreciable, al menos en PHPExcel.


Solución propuesta

La única solución que te puede funcionar a largo plazo es migrar tu código a una biblioteca de funciones que no tenga problemas de escalabilidad como es Spout.

El uso de memoria es prácticamente constante y lo único que aumenta de manera prácticamente lineal es el tiempo que se tarda en generar, poblar la hoja de datos y guardar el archivo.

Medidas como aumentar el límite máximo de memoria que pueda usar PHP con memory_limit sólo te permite parchear el problema a costa de aumentar el tiempo de trabajo y consumir los recursos de tu servidor.


Medidas de rendimiento

A continuación muestro el código de ejemplo utilizado para generar un archivo Excel con una única columna que contiene el texto "Fila: <número>" indicando por parámetro el número de filas que deben generarse:

PHPExcel

<?php
require_once __DIR__ . '/vendor/autoload.php';
$nFilas = isset($_SERVER['argv'][1])?intval($_SERVER['argv'][1]):0;
ini_set('memory_limit', '2G');

$inicio = microtime(true);
$objPHPExcel = new PHPExcel();

/* Cambiar este comentario dependiendo de la prueba a realizar: */
/*$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp;
$cacheSettings = array( 
  //'memoryCacheSize' => '20'
  'memoryCacheSize' => '8MB'
);
PHPExcel_Settings::setCacheStorageMethod($cacheMethod);*/

$objWorksheet = $objPHPExcel->getActiveSheet();
for ($fila = 1; $fila <= $nFilas; $fila++) {
  $objWorksheet->setCellValueExplicit(
    'A' . $fila,
    "Fila: $fila",
    PHPExcel_Cell_DataType::TYPE_STRING
  );
}

$objWriter = PHPExcel_IOFactory::createWriter($objPHPExcel, "Excel2007");
$objWriter->save("resultado.xlsx");

echo implode(' ', [
  $nFilas,
  memory_get_peak_usage(true),
  microtime(true) - $inicio,
  filesize("resultado.xlsx")
]), PHP_EOL;

PhpSpreadsheet

<?php
require_once __DIR__ . '/vendor/autoload.php';
$nFilas = isset($_SERVER['argv'][1])?intval($_SERVER['argv'][1]):0;
ini_set('memory_limit', '2G');

$inicio = microtime(true);
$objPHPExcel = new PhpOffice\PhpSpreadsheet\Spreadsheet();

$objWorksheet = $objPHPExcel->getActiveSheet();
for ($fila = 1; $fila <= $nFilas; $fila++) {
  $objWorksheet->setCellValueExplicit(
    'A' . $fila,
    "Fila: $fila",
    PhpOffice\PhpSpreadsheet\Cell\DataType::TYPE_STRING
  );
}

$objWriter = new PhpOffice\PhpSpreadsheet\Writer\Xlsx($objPHPExcel);
$objWriter->save("resultado.xlsx");

echo implode(' ', [
  $nFilas,
  memory_get_peak_usage(true),
  microtime(true) - $inicio,
  filesize("resultado.xlsx")
]), PHP_EOL;

Spout

<?php
require_once __DIR__ . '/vendor/autoload.php';
$nFilas = isset($_SERVER['argv'][1])?intval($_SERVER['argv'][1]):0;
ini_set('memory_limit', '2G');

$inicio = microtime(true);
$writer = Box\Spout\Writer\WriterFactory::create(Box\Spout\Common\Type::XLSX);
$writer->setShouldCreateNewSheetsAutomatically(false);
/* Cambiar para la prueba de datos inline o shared */
//$writer->setShouldUseInlineStrings(true);
$writer->setShouldUseInlineStrings(false);
$writer->openToFile("resultado.xlsx");

for ($fila = 1; $fila <= $nFilas; $fila++) {
  $writer->addRow(["Fila: $fila"]);
}

$writer->close();

echo implode(' ', [
  $nFilas,
  memory_get_peak_usage(true),
  microtime(true) - $inicio,
  filesize("resultado.xlsx")
]), PHP_EOL;

Resultados y conclusiones

Uso de memoria:

Uso de memoria de las pruebas

Mientras que PHPExcel y PhpSpreadsheet tienen un uso lineal de memoria (en media 1 KiB por celda de datos), Spout mantiene un consumo de memoria constante de 2 MiB en total.

Tiempo de ejecución:

Tiempo de ejecución

PHPExcel y PhpSpreadsheet aumentan de manera exponencial el tiempo total de ejecución, mientras que Spout aumenta de manera prácticamente lineal.

Tamaño del archivo generado:

Tamaño del archivo generado

En este apartado todos los resultados son muy parecidos (con diferencias de pocos bytes), reduciéndose el tamaño del archivo en caso de usar datos en línea (inline) ya que no se genera un archivo de diccionario separado, si no que los datos se guardan directamente en el XML de las celdas (al igual que ocurre con los datos numéricos).

2
  • 2
    Buscando otra respuesta tuya me he encontrado con esta. Me quito el sombrero.
    – franmost
    Commented el 14 feb. 2019 a las 9:37
  • Gracias. Ya vi tu otro comentario, lo miraré cuando tenga un hueco. Commented el 14 feb. 2019 a las 9:42
1

Yo tenia ese mismo problema con un pdf pero lo solucione de esta manera Solo entra a tu php archivo llamado php no ini (ábrelo como bloc de notas) y modifica este valor :

; Maximum amount of memory a script may consume (128MB)
; http://php.net/memory-limit
memory_limit=512M
0

PHP tiene la opción de usar cache guardado en php://temp, lo habilitas de esta manera.

require_once './Classes/PHPExcel.php';

$cacheMethod = PHPExcel_CachedObjectStorageFactory:: cache_to_phpTemp;
$cacheSettings = array( ' memoryCacheSize ' => '8MB');
PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);

sobre php://temp

6
  • @Jorde Arturo Juarez, esas líneas que posteaste en qué lugar debo ponerlas? debajo del require_once? o en cualquier otro lugar?
    – Salth95
    Commented el 12 may. 2017 a las 19:34
  • antes de crear los objetos phpexcel, de preferencia debajo del require_once Commented el 12 may. 2017 a las 19:41
  • realice el cambio que me aconsejase y aun así saca dicho error. Estoy mirando en el código si quizá hay algún bucle infinito o algo que me esté generando este error. Ya cambie también el memory_limit hasta 512M como postteo alguien hace poco y probare a ver si funciona.
    – Salth95
    Commented el 12 may. 2017 a las 21:04
  • ya intentaste poner en ' memoryCacheSize ' => '8MB' un valor mas alto Commented el 12 may. 2017 a las 21:07
  • en este momento está en 256MB, esperemos que funcione.
    – Salth95
    Commented el 12 may. 2017 a las 21:13

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.