1

Un cordial saludo. Verán, tengo una tabla "movimientos" con aproximadamente 300 mil registros, los cuales deseo obtener mediante PHP, pero al momento de realizar mi consulta, no obtengo resultados, a menos que ponga un LIMIT.

Este es mi código:

$query = "SELECT * FROM movimientos";
$sql = $this->conex->prepare($query);
$sql->execute();
$movimientos = $sql->fetchAll(PDO::FETCH_ASSOC);
if($sql->rowCount()>0) var_dump($movimientos);
else echo "No hay movimientos";

El detalle es que, como ya comenté, no me arroja resultados, ni siquiera entra al "else", sólo se queda en blanco mi script.

PERO, si modifico mi query a:

$query = "SELECT * FROM movimientos LIMIT 50000";

Entonces si obtengo mis resultados.

¿Por qué podría estar pasando esto? He investigado un poco, y encontré algo relacionado a las variables post_max_size y memory_limit, del php.ini. Ya aumenté estos valores pero sigo sin obtener resultados.

Espero me puedan ayudar, de antemano gracias. Saludos!


-------------------Editado (Solución)-----------------

Disculpen, no había tenido tiempo de compartir mi solución. Advierto que no sé si es lo más recomendable, uds opinarán ... Pero fue lo que a mi me funcionó.

Primeramente, tuve que aumentar la variable memory_limit en mi php.ini a 3MB (lo sé, demasiado! ... nada recomendable, pero creanme q sin esto no funciona mi script). La variable set_time_limit (configurada a 1 min) no representaba problema, ya que el script no moría por tiempo, sino por tamaño de memoria/buffer (o así lo entendí); por lo que no tuve q aumentarla.

Después, tuve q hacer una adecuación en mi consulta, al obtener los resultados, gracias a la ayuda prestada en lawebdelprogramador, me sugirieron hacer estos cambios.

Yo tenía mi script de la forma mencionada anteriormente, y quedó así:

function prueba(){
 $query = "SELECT * FROM tarjetas";
 $sql = $this->conex->query($query); //Se ejecuta directo la consulta, ya que no hay parámetros
 $sql->setFetchMode(PDO::FETCH_ASSOC);
 $movs = array(); //array auxiliar para guardar los movimientos
 while ($row = $sql->fetch()) { //recomerremos una a una las filas obtenidas
    array_push($movs, $row); //guardamos el elemento en el array auxiliar
    unset($row); //eliminamos la fila para evitar sobrecargar la memoria
 }
    return $movs;
 }

Es así como quedó mi script, como repito, fue lo q a mi me funcionó. Espero a alguien le pueda servir, y puedan comentar acerca de ello. Saludos y gracias a todos!

9
  • y no aparece nada en los error.log? me da la impresión de que estas excediendo la memoria permitida. pero muestra lo que aparece en ese archivo.
    – Rene Limon
    Commented el 12 dic. 2016 a las 17:08
  • Hola amigo, gracias por responder. Te comento que no se está generando un archivo log. Si es el caso, como podría solucionarlo? Saludos
    – DevPHP
    Commented el 12 dic. 2016 a las 17:25
  • siempre hay un log. por lo regular esta en /var/log/apache2/
    – Rene Limon
    Commented el 12 dic. 2016 a las 17:30
  • Ok, veré si me pueden dar acceso a dicho archivo, porque no tengo acceso directo a servidor, para modificar las variables que comento de post_max_size y memory_limit tuve q solicitarlo, pero checaré por ahí, gracias!
    – DevPHP
    Commented el 12 dic. 2016 a las 17:41
  • 1
    En mi humilde opinión, hay un enfoque incorrecto en querer traer 300,000 registros de una sola vez desde el servidor. Si tu programa necesita los 300,000 registros, por ejemplo, para procesarlos de alguna manera –cosa que dudo– entonces tráelos en grupos pequeños y los vas procesando, realmente no necesitas 300,000 registros en un arreglo asociativo, ¿cierto?. Si tu programa necesita hacer algún cálculo con ellos, hacer el/los cálculos con SQL y traer solamente el resultado de los mismos será mucho más eficiente y es la ruta a seguir. ¿para qué traes tantos registros?
    – jachguate
    Commented el 12 dic. 2016 a las 23:32

5 respuestas 5

1

Te propongo una solucion, la realidad es que este problema se puede abarcar desde varios puntos de vista. Podrias optimizar la tabla de la base de datos agregando indices, podrias crear un sistema de paginacion automatica o podrias ejecutar el proceso en una tarea programa desatendida. En mi solucion voy a explicarte como llevar a cabo el ultimo caso.

1.- Agregar una columna en tu tabla (executed TINYINT 1 UNSIGNED)

2.- Crear el script tarea_programada.php

<?php

$query = "SELECT * FROM movimientos WHERE executed = 0 LIMIT 50000";
$sql = $this->conex->prepare($query);
$sql->execute();
$movimientos = $sql->fetchAll(PDO::FETCH_ASSOC);
$ids_procesados = "";

for($i=0;$i<=count($movimientos)-1;$i++){
    //Ejecutar algun proceso personalizado
    $movimientos[$i]["test"] = $movimientos[$i]["test"] * 1;

    //Primary key
    $ids_procesados.=$movimientos[$i]["id"].",";
}

if (!empty($ids_procesados)){
    $ids_procesados = preg_replace(",$", "", $ids_procesados);
    $query_update = "UPDATE movimientos SET executed = 1 WHERE id IN(".$ids_procesados.")";
    $sql_update = $this->conex->prepare($query_update);
    $sql_update->execute();
}


?>

Basicamente lo que hacemos con este script es procesar 50.000 registros por vez buscando registros que no hayan sido procesados y al terminar los marcamos como procesados. Tendrias que probar tu script y ver cuales son los limites con los que podes trabajar. Tendrias que configurar un CRON / tarea programada en tu servidor para que ejecute este script cada X minutos.

Un metodo para asegurarte de que tu script no quede ejecutandose en el background y que se genere un overlap de datos podria ser crear un archivo en el servidor al comenzar a procesar un lote de registros y borrarlo al terminar. Entonces, en el comienzo de tu script verificarias primero que este archivo no este creado para ejecutar el proceso.

1

Coloca al comienzo del script set_time_limit(0) para que no se te detenga el tiempo de ejecución del script.

Lo otro que te puedo recomendar es que no traigas los 300000 registro una sola vez sino que has un paginado para que la consulta se te haga mas pequeña.

Te dejo el link de la explicación que tiene oficial php: Ir sitio oficial de php para el método (set_time_limit).

1
  • Hola amigo, gracias por tu respuesta/comentario. El detalle es que necesito obtener los registros de golpe (al menos eso creo), porque no es que los quiera mostrar, sino irlos procesando uno a uno, y un paginado en este caso no veo como pudiera "activarse". Saludos!
    – DevPHP
    Commented el 13 dic. 2016 a las 5:03
0

Si no puedes configurar el server, puedes usar un paginado por cada 50 mil registros o los que desees.

Obtienes la cantidad de registros:

function obtener_cantidad_registros()
{
    $query = "SELECT * FROM movimientos";
    $result = $sql->query($query);
    return = $result->num_rows;
}

Obtener el número de páginas según la cantidad de registros y el tamaño de la página(cantidad de registros que mostrarás por cada página):

function obtener_numero_paginas($cantidad_registros, $tamaño_pagina)
{
  return ceil($cantidad_registros / $tamaño_pagina);
}

Obtener el número de la página que se esté consultando:

function obtener($numero_pagina)
{
  if(! $numero_pagina or ! is_numeric($numero_pagina))
  {
    return 1;
  }

  return $numero_pagina;
}

Esta función simplemente valida que el número de la página sea un valor numérico, sino devuelve 1 que equivaldría a decir que es la página número 1.

Luego calculas el inicio de registros de la consulta según el número de la página y el límite que asignes (en este caso pongo que cada página imprima 50000 registros):

function calcular_inicio($numero_pagina, $tamaño_pagina)
{
  if($numero_pagina == 1)
  {
    $inicio = 0;
  }else{
    $inicio = ($numero_pagina- 1) * $tamaño_pagina;
  }

  return $inicio;
}

Por ejemplo, si está en la página 1, el query debe hacer un límite de 0 a 50000, si estás en la página 2, el límite debe ser de 50000 a 100000.

Ahora obtener consulta:

function obtener_consulta($mysql, $inicio, $tamaño_pagina){
  $query = "SELECT * FROM movimientos LIMIT $inicio, $tamaño_pagina";
  return $mysql->query($query);
} 

Y finalmente obtener los enlaces para las páginas:

function imprimir_paginacion($pagina, $tamaño_pagina)
{
 for($i = 0; $i <= $tamaño_pagina; $i++)
 {
   $i == $pagina ? print($pagina) : print('<a href="'.$url.'?pagina='.$i.'">'.$i.'</a>  ');
 }
}

Para correrlo, es así:

$total_registros = obtener_cantidad_registros();

$tamaño_pagina = 50000;
$total_paginas = obtener_numero_paginas($total_registros, $total_registros);


$pagina = isset($_GET['pagina']) ? $_GET['pagina'] : 0;
$pagina_actual = obtener($pagina);

$inicio = calcular_inicio($pagina_actual, $tamaño_pagina);

$result = obtener_consulta($mysql, $inicio, $tamaño_pagina);

while($row = $result->fetch_array(MYSQLI_NUM))
{
   // Imprimes registros obtenidos de la consulta
}

imprimir_paginacion($pagina_actual , $tamaño_pagina);

Nota: me basé en este artículo.

1
  • Hola amigo, gracias por responder. Es un enfoque un poco diferente, no es que quiera traer los registros para mostrarlos por páginas, sino necesito procesarlos para luego almacenarlos en otra tabla. De igual forma iré probando eso del paginado, aunque aun no me doy bien una idea del paginado sin una "acción" que lo active, sino en automático. Gracias, saludos!
    – DevPHP
    Commented el 13 dic. 2016 a las 5:01
0

disculpen, no había tenido tiempo de compartir mi solución. Advierto que no sé si es lo más recomendable, uds opinarán ... Pero fue lo que a mi me funcionó.

Primeramente, tuve que aumentar la variable memory_limit en mi php.ini a 3MB (lo sé, demasiado! ... nada recomendable, pero creanme q sin esto no funciona mi script) La variable set_time_limit (configurada a 1 min) no representaba problema, ya que el script no moría por tiempo, sino por tamaño de memoria/buffer (o así lo entendí); por lo que no tuve q aumentarla.

Después, tuve q hacer una adecuación en mi consulta, al obtener los resultados, gracias a la ayuda prestada en lawebdelprogramador, me sugirieron hacer estos cambios.

Yo tenía mi script de ésta forma:

public function prueba(){
    $query = "SELECT * FROM tabla"; //tabla con +300mil registros
    $sql = $this->conex->prepare($query); //primer error xD
    $sql->execute();
    $movimientos = $sql->fetchAll(PDO::FETCH_ASSOC); //Justo aqui moría mi   script
    $res = ($sql->rowCount()>0)  ? $movimientos : false; 
    return $res;
   }

Quedó de la sig forma:

function prueba(){
            $query = "SELECT * FROM tarjetas";
            $sql = $this->conex->query($query); //Se ejecuta directo la consulta, ya que no hay parámetros
            $sql->setFetchMode(PDO::FETCH_ASSOC);
            $movs = array(); //array auxiliar para guardar los movimientos
            while ($row = $sql->fetch()) { //recomerremos una a una las filas obtenidas
                array_push($movs, $row); //guardamos el elemento en el array auxiliar
                unset($row); //eliminamos la fila para evitar sobrecargar la memoria
            }
            return $movs;
        }

Es así como quedó mi script, como repito, fue lo q a mi me funcionó. Espero a alguien le pueda servir, y puedan comentar acerca de ello. Saludos y gracias a todos!

-1

Imagino que no es lo mismo hacer un var_dump de 50000 registros que de 300000, mejor has un foreach sobre $movimientos y un echo, hasta donde se, PHP va escapando los echos aunque tarde mucho el script, así podrás ver que si te esta trayendo la consulta.

Finalmente la solución, como te la han comentado es hacer un paginado, esto es si o si para estos casos, no hay de otra.

1
  • Hola amigo @rodtux, gracias por responder. El script muere a la hora de querer obtener todos los registros. No llega si quiera a la siguiente línea.
    – DevPHP
    Commented el 13 dic. 2016 a las 23:33

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.