0

Actualmente estoy trabajando en un script de importación de datos hacia Prestashop via Webservice. Este script plantea una serie de problemas a afrontar, y uno de ellos es la importación de grandes cantidades de datos a la plataforma.

El script reporta un error 503 siempre que llega sobre los 300 segundos, lo que me hace pensar que está dando timeout. La solución más rápida para este problema sería simplemente aunmentar el tiempo de ejecución máximo del script y su memoria caché, pero esto no es una via disponible.

Por lo tanto, me ha planteado varios caminos como el de realizar más llamadas CRON al script para realizar múltiples ejecuciones hasta que se termine la importación total de los datos, pero no sé cómo guardar el avance de estos y en general no tengo un buen conocimiento de estas. En segundo lugar, me he planteado que cada X productos el script serialice y almacene la información restante en un archivo .bin, para posteriormente ejecutarlo de nuevo utilizando esa información almacenada.

        if(!file_exists($store)){
        $xmlContent = file_get_contents($originXmlPath . $archive);
        $sanitizedXmlContent = preg_replace ('/[^\x{0009}\x{000a}\x{000d}\x{0020}-\x{D7FF}\x{E000}-\x{FFFD}]+/u', ' ', $xmlContent);
        $products = simplexml_load_string($sanitizedXmlContent);
    }else {
        $products = unserialize(file_get_contents($store));
        $products = simplexml_load_string($products);
    }

    foreach ($products as $product) {

        if ($time > 25) {
            file_put_contents($store, serialize($sanitizedXmlContent));
            exec('nohup PATH -f script.php');
            exit(1);
        } 
        unset($serializedXmlContent->$product)

      }    

Mi principal problema con esta manera de enfocar el problema es que el script no vuelve a ejecutarse después de realizar exit().

No tengo muy claro cúal es la mejor manera de enfocar este problema. Cualquier documentación me servirá de ayuda u opiniones sobre el tema. Muchas gracias de antemano.

6
  • @Trauma como he comentado en el post, no puedo hacer uso de estas dos vias usando ini_set(), aún así los tengo con valores altos. No funciona.
    – naumb
    el 17 ago. 2020 a las 20:54
  • Ah, cierto. Perdón, no lo ví.
    – Trauma
    el 17 ago. 2020 a las 20:54
  • Se puede hacer con un contador de avance y un llamado ajax que itera sobre sí mismo hasta que el contador llega al límite deseado o el servidor devuelva una marca de fin de proceso. En cada llamado la página envía un bloque de datos y al recibir done del servidor autoajusta el contador, valida si termina o continua, y si no termina itera el llamado. Yo uso ese mecanismo con éxito para simular batch.
    – quevedo
    el 17 ago. 2020 a las 21:22
  • Luego podrás mejorarlo interpolando qué hacer si hay error, mensajes de avance, y mecanismos de interrupción.
    – quevedo
    el 17 ago. 2020 a las 21:23
  • @quevedo el script realiza petiticiones a webservice mediante URL, pero este script es llamada mediante una llamada CRON ¿Cómo podría implementar esta llamada AJAX en el script para que se llame así mismo? ¿Las llamadas AJAX también sirven para realizar llamadas a ficheros dentro de un servidor?
    – naumb
    el 17 ago. 2020 a las 21:30

1 respuesta 1

1

Para abordar este tipo de problemas, lo mejor es caracterizar el proceso:

1.- Identificar dónde esta el cuello de botella. ¿Es prestashosp o tu script?, ¿Es el parseo del XML o la sanitización con expresión regular?.

2.- Observar con las herramientas del sistema operativo para identificar cuál recurso se agota (ej. memoria física, de intercambio o cache, espacio en disco) y/o el que se usa más intensamente (ej. lectura/escritura a disco, red, procesador, base de datos); suelen saltar a la vista.

3.- Cuantificar. Normalmente encontrarás un relación directa entre el número de elementos a procesar (ej. número archivos, registros o líneas) y la duración del(los) cuello(s) de botella.

El primer ejercicio sería intercalar mensajes con hora, minuto y segundo antes de cada bloque principal de código, o incluso entre cada línea; donde haya la mayor diferencia profundizar hasta donde sea posible.

Dependiendo de los hallazgos, la solución podría ser un comando simple, un cambio de configuración, aumento de recursos, y en el peor de los casos implementar alguna de las técnicas para procesos de larga duración como: procesos asíncronos, colas de mensajes, subprocesos, multi-hilos, etc..

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.