0

Hola amigos tengo una API que intento recorrer tengo un función que carga la API en XML y la convierte a Array

    $this->xml = new SimpleXMLElement($url, LIBXML_PARSEHUGE, true);
    $this->collection = json_decode(json_encode($this->xml), true);
    $this->data = new Collection($this->collection);

la clase Collection es solo una envoltura luego inicio la extracción de los datos que realmente me importan por ello en otra clase php que invoca ese fragmento de código tengo bucles tras bucles recorriendo todo eso

$data = [];
// función Filtro
        foreach ($this->data as $key => $value) {
            foreach ($value as $k => $v) {
                if(is_array($v['league'])) {
                    if(array_key_exists('@attributes', $v['league'])){
                        if((int)$v['league']['@attributes']['id'] == (int)$league){
                            $data[$key][$k] = $v['league'];
                        }
                    } else {
                        foreach ($v['league'] as $n) {
                            $att = $n['@attributes'];
                            if((int)$att['id'] == (int)$league){
                                $data[$key][$k] = $n;
                            }
                        }
                    }
                }
            }
        }
// FUncion getEvent
foreach($data as $id => $value){
            foreach ($value as $k => $v) {
                unset($v['@attributes']['link']);
                $newData = array_merge($newData, $v['@attributes']);
                if (array_key_exists('@attributes', $v['group'])) {
                    $newData = array_merge($newData, $this->parseGroup([$v['group']]));
                } else {
                    $newData = array_merge($newData, $this->parseGroup($v['group']));
                }
            }           
        }

y asi tengo como 10 foreach para lograr tener los datos que realmente importan el resultado es un array multidimencional de aproximado 21053 items pero puede ser menos o mas. y estoy buscando la mejor forma de maneja esto ya que me da error 504 cada vez que lo ejecuto pero si colo un die en cada función después del bucle responde inmediatamente.

El XML obtenido inicial mete tiene un peso comprendido entre 5mb a 20mb

Espero que alguien se apiade mi.

4
  • Seguramente necesites optimizar tu código para que no tarde tanto y evitar el time-out, por otro lado puedes tratar de aumentar el tiempo para el time-out revisa esta directiva php.net/manual/es/function.set-time-limit.php
    – Xerif
    Commented el 14 ago. 2021 a las 9:02
  • Dos cosas: 1. ¿Por qué lo conviertes a array cuando lo puedes leer como es obtenido originalmente (XML en este caso). En la conversión vas a agotar recursos, haciendo el código más lento. 2. ¿Por qué traes tantos datos de golpe? La API debería tener una forma de pedir los datos paginados, así los vas procesando por grupos más pequeños sin exponerte a problemas de timeout, de desbordamiento de memoria u otros.
    – A. Cedano
    Commented el 15 ago. 2021 a las 0:29
  • Primero ya aumente el tiime_out pero asi le ponga 2horas el tiempo es insuficiente, y segundo la api no me trae los datos paginados y necesito grandes cantidades de informaión de dicho XML reemplazar los datos a conveniencia y almacenar parte de ello en DB para que asi puedan consultar mi API paginada y en JSON y no como lo trae la api original Commented el 16 ago. 2021 a las 15:20
  • A. Cedano, Intente lo que comentastes pero igual aun que lee directamente con DOM php el XML al intentar manipular, convertir y obtener los datos que deseo me como los recursos, mi problema mas grande es que estoy en local con 8gb de ram y tengo configurados mi php.ini a infinito osea -1 por todos lados y aun asi tengo este problema no se como se comportaria en un servido web conpartido donde no tengo estas virtudes Commented el 16 ago. 2021 a las 15:23

1 respuesta 1

1

Tengo muy pocos detalles del problema, así que es dificil dar una respuesta, y quizás hay cosas que menciono que no aplican en tu caso.

Yo en tu lugar intentaría encontrar el cuello de botella, donde se demora o si el rendimiento va decayendo a medida que avanza el proceso.

Intentaría leer el archivo xml con xpath(). Una vez obtengo información que puedo guardar en la BD, la guardo y libero la memoria (evitaría generar un arreglo gigante y guardar la información al final).

Te comento mi experiencia, quizás puedas sacar alguna idea:

Yo corro un proceso batch todos los meses (Script: php, BD: Postgresql, SO: Ubuntu) que lee archivos txt de 5 millones de registros (generalmente son 5 archivos, el último no llega a los 5 millones, un registro por línea, en total los 5 archivos pesan 2.5 GB). Son entre 20 y 25 millones de registros, de los cuales termino insertando/actualizando (previo procesamiento de los mismos) el 10 % aproximadamente (la mayoría son updates, el resto de los registros los descarto) en dos tablas relacionadas (las tablas solo se actualizan mediante este proceso). El proceso dura entre 8 y 10 hs (antes usaban un procedimiento en SqlServer para procesarlos y duraba 3 días).

Consideración a tener en cuenta:

  • Obviamente el tiempo va a depender de los recursos con que uno cuente (en el web server tengo 8 GB de RAM y en el data server 16 GB de RAM).
  • Como las tablas son de "solo lectura" ejecuto el proceso en un servidor aparte, luego hago un backup y lo importo en producción.
  • Voy leyendo registro por registro (no mantengo grandes volúmenes de información en memoria). Cada 10 mil lecturas hago un commit (hay que buscar un equilibrio, no hacerlos muy seguido ni tener la memoria a full). Si el proceso falla en la mitad en mi caso (ya que nadie toca dichas tablas excepto este proceso) no es un problema, solo vuelvo a jecutar el proceso.
  • Antes de comenzar a procesar los archivos el script deshabilita las llaves foráneas y los indices (obviamente esto mejora mucho los tiempos de respuestas). Luego al final los vuelvo a habilitar.
  • Las llaves primarías las dejo, ya que en la mayoría de los casos se hace un update del registro, y reducen los tiempos de respuesta para encontrar los registros.
1
  • E intentado lo que comentas y el bucle de bottella esta justamente en el inicio e combinado tu idea de Xpath con otra idea que me dieron para saber los tiempo y el consumo por secciones e ir deteniendo par debug y solo DOM->LOAD() se tarda has 10seg en responder. Commented el 20 ago. 2021 a las 19:20

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.