Descripción del problema
Tanto PHPExcel como PhpSpreadsheet tienen un problema de escalabilidad muy serio. En ambos cada celda con datos de tu hoja de cálculo ocupa en media 1 KiB. Además, tal y como veremos a continuación en las gráficas, el tiempo para procesar el trabajo de crear la hoja, poblarla de datos y guardarla aumenta exponencialmente en los dos.
Por poner un ejemplo, una hoja de cálculo con 200.000 filas y 15 columnas ocuparía en memoria 200.000 · 15 · 1 KiB = 3.000.000 KiB
, unos 2.86 GiB de RAM.
Esto puede leerse en la documentación del uso de memoria de PhpSpreadsheet (sucesor de PHPExcel):
PhpSpreadsheet uses an average of about 1k per cell in your worksheets, so large workbooks can quickly use up available memory. Cell caching provides a mechanism that allows PhpSpreadsheet to maintain the cell objects in a smaller size of memory, or off-memory (eg: on disk, in APCu, memcache or redis). This allows you to reduce the memory usage for large workbooks, although at a cost of speed to access cell data.
En castellano:
PhpSpreadsheet (y PHPExcel) usan una media de 1k por celda de tus hojas, por lo que las hojas de cálculo grandes pueden usar rápidamente toda la memoria disponible. La caché de celdas provee a PhpSpreadsheet un mecanismo que le permite mantener los objetos de celda en un tamaño más pequeño de memoria, o fuera de memoria (pe: en disco, en APCu, memcache o redis). Esto te permite reducir el uso de memoria para hojas de cálculo grandes, This allows you to reduce the memory usage for large workbooks, aunque a costa de velocidad de acceso a los datos de las celdas.
Tal y como veremos a continuación en las gráficas, esa media de uso de memoria es muy acertada, pero el efecto de usar una caché apenas es apreciable, al menos en PHPExcel.
Solución propuesta
La única solución que te puede funcionar a largo plazo es migrar tu código a una biblioteca de funciones que no tenga problemas de escalabilidad como es Spout.
El uso de memoria es prácticamente constante y lo único que aumenta de manera prácticamente lineal es el tiempo que se tarda en generar, poblar la hoja de datos y guardar el archivo.
Medidas como aumentar el límite máximo de memoria que pueda usar PHP con memory_limit
sólo te permite parchear el problema a costa de aumentar el tiempo de trabajo y consumir los recursos de tu servidor.
Medidas de rendimiento
A continuación muestro el código de ejemplo utilizado para generar un archivo Excel con una única columna que contiene el texto "Fila: <número>
" indicando por parámetro el número de filas que deben generarse:
PHPExcel
<?php
require_once __DIR__ . '/vendor/autoload.php';
$nFilas = isset($_SERVER['argv'][1])?intval($_SERVER['argv'][1]):0;
ini_set('memory_limit', '2G');
$inicio = microtime(true);
$objPHPExcel = new PHPExcel();
/* Cambiar este comentario dependiendo de la prueba a realizar: */
/*$cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_to_phpTemp;
$cacheSettings = array(
//'memoryCacheSize' => '20'
'memoryCacheSize' => '8MB'
);
PHPExcel_Settings::setCacheStorageMethod($cacheMethod);*/
$objWorksheet = $objPHPExcel->getActiveSheet();
for ($fila = 1; $fila <= $nFilas; $fila++) {
$objWorksheet->setCellValueExplicit(
'A' . $fila,
"Fila: $fila",
PHPExcel_Cell_DataType::TYPE_STRING
);
}
$objWriter = PHPExcel_IOFactory::createWriter($objPHPExcel, "Excel2007");
$objWriter->save("resultado.xlsx");
echo implode(' ', [
$nFilas,
memory_get_peak_usage(true),
microtime(true) - $inicio,
filesize("resultado.xlsx")
]), PHP_EOL;
PhpSpreadsheet
<?php
require_once __DIR__ . '/vendor/autoload.php';
$nFilas = isset($_SERVER['argv'][1])?intval($_SERVER['argv'][1]):0;
ini_set('memory_limit', '2G');
$inicio = microtime(true);
$objPHPExcel = new PhpOffice\PhpSpreadsheet\Spreadsheet();
$objWorksheet = $objPHPExcel->getActiveSheet();
for ($fila = 1; $fila <= $nFilas; $fila++) {
$objWorksheet->setCellValueExplicit(
'A' . $fila,
"Fila: $fila",
PhpOffice\PhpSpreadsheet\Cell\DataType::TYPE_STRING
);
}
$objWriter = new PhpOffice\PhpSpreadsheet\Writer\Xlsx($objPHPExcel);
$objWriter->save("resultado.xlsx");
echo implode(' ', [
$nFilas,
memory_get_peak_usage(true),
microtime(true) - $inicio,
filesize("resultado.xlsx")
]), PHP_EOL;
Spout
<?php
require_once __DIR__ . '/vendor/autoload.php';
$nFilas = isset($_SERVER['argv'][1])?intval($_SERVER['argv'][1]):0;
ini_set('memory_limit', '2G');
$inicio = microtime(true);
$writer = Box\Spout\Writer\WriterFactory::create(Box\Spout\Common\Type::XLSX);
$writer->setShouldCreateNewSheetsAutomatically(false);
/* Cambiar para la prueba de datos inline o shared */
//$writer->setShouldUseInlineStrings(true);
$writer->setShouldUseInlineStrings(false);
$writer->openToFile("resultado.xlsx");
for ($fila = 1; $fila <= $nFilas; $fila++) {
$writer->addRow(["Fila: $fila"]);
}
$writer->close();
echo implode(' ', [
$nFilas,
memory_get_peak_usage(true),
microtime(true) - $inicio,
filesize("resultado.xlsx")
]), PHP_EOL;
Resultados y conclusiones
Uso de memoria:
Mientras que PHPExcel y PhpSpreadsheet tienen un uso lineal de memoria (en media 1 KiB por celda de datos), Spout mantiene un consumo de memoria constante de 2 MiB en total.
Tiempo de ejecución:
PHPExcel y PhpSpreadsheet aumentan de manera exponencial el tiempo total de ejecución, mientras que Spout aumenta de manera prácticamente lineal.
Tamaño del archivo generado:
En este apartado todos los resultados son muy parecidos (con diferencias de pocos bytes), reduciéndose el tamaño del archivo en caso de usar datos en línea (inline) ya que no se genera un archivo de diccionario separado, si no que los datos se guardan directamente en el XML de las celdas (al igual que ocurre con los datos numéricos).