2

Tengo una tabla en mi base de datos con al rededor de 9.000.000 de datos.

Mi problema ocurre a la hora d

e consultar esa tabla a través de Laravel, ya que al hacer solo la consulta de extraer todos los datos con Number::all(); pues obvio mi servidor colapsa por su capacidad, pero mi detalle esta en que necesito extraer al rededor de 50000 datos de forma aletoria de esa tabla y no se como hacerlo. Ya que el método Random de la Collection no lo ejecuta ya que al servidor caerse no me genera nada.

¿Que me podrían proponer para poder generar mi consulta? ¿Como podría hacerlo? Es un tema de mi empresa y de verdad ya no se que mas hacer.

Este es el error que siempre me genera al consultar:

PHP Fatal error: Allowed memory size of 2097152 bytes exhausted

Al hacer pruebas con chunk me genera valores en menos de 2 segundos, el detalle esta que me trae los valores iniciando con el primer indice de la tabla cuando se necesitan valores random.

1
  • Si haces una paginacion del total de registros que tienes en la tabla y a cada pagina le asignas un numero de veces que tiene que acceder, es decir, divides 9.000.000 / 50.000 registros = 180 paginas de las cuales tomarias de forma aleatoria un solo regisro por cada pagina hasta llegar a los 180 el 5 sep. 2019 a las 2:02

1 respuesta 1

2

Estas usando el método random de la clase Collection, sin embargo te propongo que uses.

Método inRandomOrder.

El cual sirve para:

Ordenar de manera aleatotoria los resultados de una consulta, pudiendo quedar de este modo:

Ejemplo

Number::inRandomOrder()->take(50000);

Pruebas con inRandomOrder()

Hice la prueba con una base de datos de muestra con 100000 registros que es claramente muy inferior a la que posees sin embargo te comento lo siguiente.

  • Obteniendo de manera aleatoria 25000 registros sin indicar que columnas a recuperar tomó el siguiente tiempo

introducir la descripción de la imagen aquí

  • Ahora especificando el nombre de 2 columnas a recuperar, las medidas fueron las siguientes

introducir la descripción de la imagen aquí

A través de la consola podemos ver que internamente se nos genera una consulta como la siguiente:

select `col1`, `col1` from `table` order by RAND() limit 25000

Pruebas con chunk()

Sin embargo si ahora en nuestra consulta usamos el método chunk de este modo:

    $data = Modelo::inRandomOrder()
                 ->take(25000)
                 ->get()
                 ->chunk(100);

Obtenemos resultados como los siguientes:

introducir la descripción de la imagen aquí

De nuevo ahora agregamos a la consulta el método select() indicando que columnas deseamos recuperar así:

    $data = Modelo::select('col1', 'col2')
                 ->inRandomOrder()
                 ->take(25000)
                 ->get()
                 ->chunk(100);

Obteniendo estos resultados

introducir la descripción de la imagen aquí

Y desde la consola teniendo la siguiente consulta:

select `col1`, `col2` from `table` order by RAND() limit 25000
4
  • Luego de hacer las pruebas me doy cuenta que con tu ultimo método me genera una cantidad que yo quiero de manera ramdon, el detalle me resulta que dura al rededor de 2 minutos solo generando esa data. Hice pruebas con chunk y si me genera resultados en menos de 2 segundos, pero no son resultados ramdon, son resultados desde el primer indice de la tabla hasta el parametro que le indico al chunk. el 5 sep. 2019 a las 14:24
  • Actualizo mi respuesta y me comentas @LuisMorales
    – user128299
    el 5 sep. 2019 a las 15:48
  • Sigo probando con todos los códigos y me generan valores muy por encima de lo estimado. el 5 sep. 2019 a las 19:46
  • El método que te comenta @Aprendiz esta perfecto (podrías conseguir algo mejor, pero tendrías que usar laravel 6, que esta demasiado verde aun), por lo que si explicas un poco mejor tu problema y las soluciones probadas y los resultados dados y esperados, te podremos ayudar mas el 6 sep. 2019 a las 12:13

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.