1

Buenos días, me encuentro con el problema de que por tamaño de la consulta, me es imposible ejecutarla, e inviable troceararla en trozos muy pequeños porque no se acabaría nunca. Me encuentro usando el framework Laravel 5.5, pero aun así decidí por rendimiento no usar Eloquent.

Lo que necesito realmente es actualizar una columna con el valor de otra pero pasandole html_entity_decode()

 $main_query_sql = "SELECT id, Body FROM emails WHERE mensaje IS NULL";
            $main_query     = $db->prepare($main_query_sql);
            $main_query->execute();

            $query_sql = null;

            while ($email = $main_query->fetch()) {
                $query_sql = "UPDATE emails SET mensaje = :mensaje WHERE id = :id";
                $query_sql     = $db->prepare($query_sql);
                $query_sql->bindParam(':mensaje', html_entity_decode($email['Body']));
                $query_sql->bindParam(':id', $email['id']);
                $query_sql->execute();

Todo esto esta también en una transacción, pero no llega a entrar en el while. Tengo cambiados los parámetros de mysql y apache para no tener limites, tanto en archivo como en tiempo de ejecución y aun asi me da un PHP Fatal error: Out of memory (allocated 1853882368) (tried to allocate 32768 bytes) en un servidor dedicado solo a esto con requisitos mas que de sobra.

ini_set('memory_limit', '-1'); ini_set('max_execution_time', 0); DB::disableQueryLog(); \Debugbar::disable();

PD: por si a alguien le vale para entender lo que tenia antes

Email::select('id', 'mensaje', 'Body')->whereNull('mensaje')->chunk(100,
                function ($emails) {
                    $email = null;
                    foreach ($emails as $email) {
                        $email->mensaje = html_entity_decode($email->Body);
                        $email->save();
                    }
                });
5
  • 1TB?!!!!!!!!!!!
    – GDP
    Commented el 1 dic. 2017 a las 9:19
  • Nosotros tenemos consultas con millones de resutlados, y lo que hacemos es efectivamente trocearlas. Con seleccion de id. Del 1 al 5mil, del 5001 al 10mil y asi...
    – GDP
    Commented el 1 dic. 2017 a las 9:21
  • Si, 980 GB para ser mas concretos, aunque puedo dividirlo en fragmentos de 10GB sin problemas al estar distribuidos, pero no menos. Commented el 1 dic. 2017 a las 9:21
  • @GDP no es viable trocear en 5k cuando tienes billones, pero si me pones ejemplos lo pruebo a ver si se satura. Commented el 1 dic. 2017 a las 9:23
  • Lo de 5mil era un ejemplo. A ver si luego tengo acceso al proyecto. Era una app movil que necesitaba consultas con millones de resultados, cosa que saturaba la bbdd y la red. Por lo que se lanzaban miniconsultas. de 500k por ejemplo. COnsecutivas.
    – GDP
    Commented el 1 dic. 2017 a las 9:24

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.