Skip to main content
se añadieron 2 caracteres en el cuerpo
Origen Enlace

Te propongo una solucion, la realidad es que este problema se puede abarcar desde varios puntos de vista. Podrias optimizar la tabla de la base de datos agregando indices, podrias crear un sistema de paginacion automatica o podrias ejecutar el proceso en una tarea programa desatendida. En mi solucion voy a explicarte como llevar a cabo el ultimo caso.

1.- Agregar una columna en tu tabla (executed TINYINT 1 UNSIGNED)

2.- Crear el script tarea_programatarea_programada.php

<?php

$query = "SELECT * FROM movimientos WHERE executed = 0 LIMIT 50000";
$sql = $this->conex->prepare($query);
$sql->execute();
$movimientos = $sql->fetchAll(PDO::FETCH_ASSOC);
$ids_procesados = "";

for($i=0;$i<=count($movimientos)-1;$i++){
    //Ejecutar algun proceso personalizado
    $movimientos[$i]["test"] = $movimientos[$i]["test"] * 1;
    
    //Primary key
    $ids_procesados.=$movimientos[$i]["id"].",";
}

if (!empty($ids_procesados)){
    $ids_procesados = preg_replace(",$", "", $ids_procesados);
    $query_update = "UPDATE movimientos SET executed = 1 WHERE id IN(".$ids_procesados.")";
    $sql_update = $this->conex->prepare($query_update);
    $sql_update->execute();
}


?>

Basicamente lo que hacemos con este script es procesar 50.000 registros por vez buscando registros que no hayan sido procesados y al terminar los marcamos como procesados. Tendrias que probar tu script y ver cuales son los limites con los que podes trabajar. Tendrias que configurar un CRON / tarea programada en tu servidor para que ejecute este script cada X minutos.

Un metodo para asegurarte de que tu script no quede ejecutandose en el background y que se genere un overlap de datos podria ser crear un archivo en el servidor al comenzar a procesar un lote de registros y borrarlo al terminar. Entonces, en el comienzo de tu script verificarias primero que este archivo no este creado para ejecutar el proceso.

Te propongo una solucion, la realidad es que este problema se puede abarcar desde varios puntos de vista. Podrias optimizar la tabla de la base de datos agregando indices, podrias crear un sistema de paginacion automatica o podrias ejecutar el proceso en una tarea programa desatendida. En mi solucion voy a explicarte como llevar a cabo el ultimo caso.

1.- Agregar una columna en tu tabla (executed TINYINT 1 UNSIGNED)

2.- Crear el script tarea_programa.php

<?php

$query = "SELECT * FROM movimientos WHERE executed = 0 LIMIT 50000";
$sql = $this->conex->prepare($query);
$sql->execute();
$movimientos = $sql->fetchAll(PDO::FETCH_ASSOC);
$ids_procesados = "";

for($i=0;$i<=count($movimientos)-1;$i++){
    //Ejecutar algun proceso personalizado
    $movimientos[$i]["test"] = $movimientos[$i]["test"] * 1;
    
    //Primary key
    $ids_procesados.=$movimientos[$i]["id"].",";
}

if (!empty($ids_procesados)){
    $ids_procesados = preg_replace(",$", "", $ids_procesados);
    $query_update = "UPDATE movimientos SET executed = 1 WHERE id IN(".$ids_procesados.")";
    $sql_update = $this->conex->prepare($query_update);
    $sql_update->execute();
}


?>

Basicamente lo que hacemos con este script es procesar 50.000 registros por vez buscando registros que no hayan sido procesados y al terminar los marcamos como procesados. Tendrias que probar tu script y ver cuales son los limites con los que podes trabajar. Tendrias que configurar un CRON / tarea programada en tu servidor para que ejecute este script cada X minutos.

Un metodo para asegurarte de que tu script no quede ejecutandose en el background y que se genere un overlap de datos podria ser crear un archivo en el servidor al comenzar a procesar un lote de registros y borrarlo al terminar. Entonces, en el comienzo de tu script verificarias primero que este archivo no este creado para ejecutar el proceso.

Te propongo una solucion, la realidad es que este problema se puede abarcar desde varios puntos de vista. Podrias optimizar la tabla de la base de datos agregando indices, podrias crear un sistema de paginacion automatica o podrias ejecutar el proceso en una tarea programa desatendida. En mi solucion voy a explicarte como llevar a cabo el ultimo caso.

1.- Agregar una columna en tu tabla (executed TINYINT 1 UNSIGNED)

2.- Crear el script tarea_programada.php

<?php

$query = "SELECT * FROM movimientos WHERE executed = 0 LIMIT 50000";
$sql = $this->conex->prepare($query);
$sql->execute();
$movimientos = $sql->fetchAll(PDO::FETCH_ASSOC);
$ids_procesados = "";

for($i=0;$i<=count($movimientos)-1;$i++){
    //Ejecutar algun proceso personalizado
    $movimientos[$i]["test"] = $movimientos[$i]["test"] * 1;
    
    //Primary key
    $ids_procesados.=$movimientos[$i]["id"].",";
}

if (!empty($ids_procesados)){
    $ids_procesados = preg_replace(",$", "", $ids_procesados);
    $query_update = "UPDATE movimientos SET executed = 1 WHERE id IN(".$ids_procesados.")";
    $sql_update = $this->conex->prepare($query_update);
    $sql_update->execute();
}


?>

Basicamente lo que hacemos con este script es procesar 50.000 registros por vez buscando registros que no hayan sido procesados y al terminar los marcamos como procesados. Tendrias que probar tu script y ver cuales son los limites con los que podes trabajar. Tendrias que configurar un CRON / tarea programada en tu servidor para que ejecute este script cada X minutos.

Un metodo para asegurarte de que tu script no quede ejecutandose en el background y que se genere un overlap de datos podria ser crear un archivo en el servidor al comenzar a procesar un lote de registros y borrarlo al terminar. Entonces, en el comienzo de tu script verificarias primero que este archivo no este creado para ejecutar el proceso.

Origen Enlace

Te propongo una solucion, la realidad es que este problema se puede abarcar desde varios puntos de vista. Podrias optimizar la tabla de la base de datos agregando indices, podrias crear un sistema de paginacion automatica o podrias ejecutar el proceso en una tarea programa desatendida. En mi solucion voy a explicarte como llevar a cabo el ultimo caso.

1.- Agregar una columna en tu tabla (executed TINYINT 1 UNSIGNED)

2.- Crear el script tarea_programa.php

<?php

$query = "SELECT * FROM movimientos WHERE executed = 0 LIMIT 50000";
$sql = $this->conex->prepare($query);
$sql->execute();
$movimientos = $sql->fetchAll(PDO::FETCH_ASSOC);
$ids_procesados = "";

for($i=0;$i<=count($movimientos)-1;$i++){
    //Ejecutar algun proceso personalizado
    $movimientos[$i]["test"] = $movimientos[$i]["test"] * 1;
    
    //Primary key
    $ids_procesados.=$movimientos[$i]["id"].",";
}

if (!empty($ids_procesados)){
    $ids_procesados = preg_replace(",$", "", $ids_procesados);
    $query_update = "UPDATE movimientos SET executed = 1 WHERE id IN(".$ids_procesados.")";
    $sql_update = $this->conex->prepare($query_update);
    $sql_update->execute();
}


?>

Basicamente lo que hacemos con este script es procesar 50.000 registros por vez buscando registros que no hayan sido procesados y al terminar los marcamos como procesados. Tendrias que probar tu script y ver cuales son los limites con los que podes trabajar. Tendrias que configurar un CRON / tarea programada en tu servidor para que ejecute este script cada X minutos.

Un metodo para asegurarte de que tu script no quede ejecutandose en el background y que se genere un overlap de datos podria ser crear un archivo en el servidor al comenzar a procesar un lote de registros y borrarlo al terminar. Entonces, en el comienzo de tu script verificarias primero que este archivo no este creado para ejecutar el proceso.