0

Tengo sistema en laravel 7 el cual hace envio de correos masivos y se me presentan las siguientes dudas al usar las queues y jobs en laravel

Tengo una ruta provisional para ejecutar y enviar a cola 500 correos con su información personalizada y enviar los emails, mi duda con esto es como se agregan a las colas sin tener que poner ese foreach y que sea uno a uno enviando el correo??, creo estoy integrando bastante mal el uso de los jobs

Funcion:

Route::get('email-test', function(){

    $details[0]['email'] = '[email protected]';
    $details[1]['email'] = '[email protected]';
    ...... asi continua la lista hata llegar a 500 email
    
    foreach($details as $row){
        dispatch(new App\Jobs\SendEmailJob($row));
        // dd('done');
    }

});

Si yo ejecuto esa ruta siempre se tarda mucho tiempo porque son entre 500 o 600 personas a las cuales enviarles el correo personalizado y el servidor termina dando un timeout.

Lo que quiero hacer con las queues y jobs es enviar los correos sin tener que estar esperando la respuesta en pantalla porque son peticiones de larga duracion.

Clase mail

<?php

namespace App\Mail;

use Illuminate\Bus\Queueable;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Mail\Mailable;
use Illuminate\Queue\SerializesModels;

class SendEmailTest extends Mailable
{
    use Queueable, SerializesModels;

    /**
     * Create a new message instance.
     *
     * @return void
     */
    public function __construct()
    {
        //
    }

    /**
     * Build the message.
     *
     * @return $this
     */
    public function build()
    {
        return $this->view('emails.test');
    }
}

Job

<?php

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use App\Mail\SendEmailTest;
use Mail;

class SendEmailJob implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    protected $details;

    /**
     * Create a new job instance.
     *
     * @return void
     */

    public function __construct($details)
    {
        $this->details = $details;
    }

    /**
     * Execute the job.
     *
     * @return void
     */

    public function handle()
    {
        $email = new SendEmailTest();

        Mail::to($this->details['email'])->send($email);
    }
}

espero se entienda que es lo quiero realizar, espero puedan ayudarme, muchas gracias.

2
  • los jobs son tareas que se ejecutan en paralelo, lo que debes saber es si quieres que ese job se ejecute cuando hagas cierta acción, que en ese caso seria con un evento y haces el dispatch o si por el contrario es una tarea que se debe realizar automaticamente debes crear un cron job que despache el evento a cierta hora del día o a la semana mes etc Commented el 22 jun. 2021 a las 2:52
  • Yo necesito enviar los correos al presionar un botón que funcion con jquery y manda una peticion ajax a la funcion que muestro arriba, sin embargo mi problema es, que si hago un foreach con los 400 email a mandar nunca los mete a la cosa esta al mi codigo? Commented el 22 jun. 2021 a las 3:46

3 respuestas 3

5

En la documentación sale todo explicado. El problema es que esa sección debe ser, por lejos, la más críptica entre la documentación de Laravel.

Para tu caso de uso, lo importante es entender que:

  • Los jobs son una instancia puntual: no saben ni tienen por qué saber si otro job está corriendo en paralelo, si fue un job anterior quien lo ha gatillado o si acaso el hecho de fallar dará lugar a un reintento. Ese tipo de cosas dependen más bien del queue y la conexión donde fue despachado.
  • Los jobs pueden establecer su conexión, queue, ID único, delay y middleware: además pueden saber si son requisito para otros jobs (pero no a la inversa)
  • En su versión más simple los jobs van a una conexión síncrona. Los pides y se ejecutan. De ahí que demores la vida en enviar 500 correos.

Optimización 1: Despachar después de la respuesta

Sin cambiar de conexión, puedes indicar que el job se eche a correr después de que hayas recibido la respuesta. Por ejemplo, que al pegarle a tu ruta te responsa con el listado de correos, y justo después de haberte respondido se gatille el lote síncrono.

foreach($details as $row){
   dispatch(new App\Jobs\SendEmailJob($row))->afterResponse();
}
return response()->json($details);

No sé qué tanto mejore el conjunto. Mal que mal esa implementación sigue siendo síncrona y la va a ejecutar php-fpm.

Optimización 2: Despachar en forma asíncrona

La siguiente optimización sería cambiar a un driver que permitiera diferir Jobs. El más inmediato de implementar es el driver de BBDD. El comando php artisan queue:table genera la migración que luego tú ejecutarías para crear la tabla jobs.

php artisan queue:table
php artisan migrate

Cambiarías la conexión queue por defecto en tu .env de QUEUE_CONNECTION=sync a QUEUE_CONNECTION=database y refrescarías el caché con

php artisan config:cache

Hecho esto, ahora podrías despachar tus jobs con un delay:

foreach($details as $row){
    dispatch(new App\Jobs\SendEmailJob($row))
     ->onConnection('database')
     ->delay(5);
}

ahí puse explícitamente que usara la conexión database pero en realidad como habrás cambiado el .env se convirtió en la conexión por defecto. También verás que al despachar los Jobs les puse un delay de 5 segundos.

El job se serializa, se guarda en la tabla jobs y el sistema te responde.

Para gatillar el procesamiento de esos jobs que quedaron serializados en la tabla tú pondrías:

php artisan queue:work

o

php artisan queue:listen

La diferencia es que usar queue:work guarda la aplicación en memoria una sola vez. Es más eficiente pero si lo tienes corriendo permanentemente, tendrías que reiniciarlo para probar cualquier cambio en tus jobs, que no se refrescan de otra manera. queue:listen levanta la aplicación en cada job y es práctico para desarrollar.

Cualquiera de los dos corre via php cli en vez de php-fpm.

Optimización 3: Usar algo mejor que la DDBB

Los queues son un mundo distinto a las bases de datos, y hay software que maneja mucho mejor ese caso de uso: Redis, RabbitMQ, BeanStalk, SQS. Redis es el único que he probado y además sirve como caché.

Si manejas tus queues con Redis hay muchas optimizaciones incorporadas: rate limiting, eventos nativos, caché locks y más. Pero algo que te serviría mucho y pagaría con creces el esfuerzo de meter Redis en tu stack es que puedes instalar Laravel Horizon en tu app y con eso tener un panel para monitorear tus jobs y una implementación más robusta de workers que maneja paralelismo y balanceo.


Workers como Servicio

Idealmente debieses tener un servicio tipo SupervisorD que mantuviera los workers andando, reiniciándolos cuando se caigan. Como esto no siempre es una opción, un enfoque alternativo es usar el scheduler declarado en app/Console/Kernel.php para agendar que tu worker se ejecute periódicamente.

/**
 * Define the application's command schedule.
 */
protected function schedule(Schedule $schedule): void
{
   $schedule
    ->command('queue:work --max-time=50 --max-jobs=100 --sleep=5')
    ->everyMinute()
    ->runInBackground()
    ->withoutOverlapping(60)
    ->sendOutputTo(storage_path('schedule.run.log'));
}

Ahí dice que ejecute php artisan queue:work

  • cada un minuto
  • en segundo plano
  • que corra por 50 segundos o envíe 100 emails, lo que ocurra primero.
  • Si antes de cumplirse el límite de tiempo o de envíos se acaban los trabajos, espera 5 segundos antes de volver a revisar el queue.
  • No se permite lanzar un worker si existe otro corriendo del schedule anterior, el cual establecerá un bloqueo por 60 segundos.
  • La salida de esta operación debe ir a la carpeta storage a un archivo X
10
  • Gracias por tu respuesta, utilicé la opción que incluye el ->delay(5); los jobs se crean en la tabla la función responde. sin embargo para correr php artisan queue:work tuve que detener mi servidor para que se ejecutara los jobs, mi duda ahora es, como lo ejecuto desde mi controlador? Pense en hacer esto en otra funcion Artisan::call("queue:work"); pero si tengo mi servidor iniciado con php artisan serve no puedo ejecutar los queue Commented el 22 jun. 2021 a las 15:17
  • Puedes abrir otro terminal, o llamar al worker desde un cron, o tirarlo a segundo plano haciendo php artisan queue:work & (ahí perderás el control del worker y si quieres matarlo tendría que ser buscando el process id). Creo que sigues enfocado en correrlo desde el controller, cuando en realidad sólo necesitas agendarlo en el controller y asumir que ahí lo agarra un worker que corre todo el tiempo
    – ffflabs
    Commented el 22 jun. 2021 a las 15:33
  • ok hacer esto php artisan queue:work & funciona sin parar mi servidor, estoy enfocado en hacerlo desde el controlador o desde donde se lo correcto, te explico como funciona a ver si yo lo estoy más difícil de lo que es, tengo un dashboard en todo hay una opcion donde pueden enviar una notificación con datos personalizados a todos los clientes pueden ser 500 600 900 etc, sin embargo al principio hice una foreach con los 900 clientes y sus datos personalizados y enviaba el email Commented el 22 jun. 2021 a las 15:44
  • El problema con esto es que se queda sin tiempo de respuesta y genera un timeout entonces. Cuando lo haces de es a forma y son menos de 50 correos los que enviar el administrador en su pantalla recibe una notificación en la cual dice que los correos fueron notificados, al hacerlo de esta forma, no tengo como saber quienes fueron notificados y quieres no. Commented el 22 jun. 2021 a las 15:45
  • Entonces con tu ayuda de la respuesta de arriba ahora se crea los jobs dentro de la tabla y al ejecutar funciona manda loe emails y todo bien, pero… se me pierde la lógica de mostrar que correos fueron cuales no Commented el 22 jun. 2021 a las 15:45
0

@joséVásques depende de lo que tu quieras hacer, un job se crea para hacer una tabla que administre tus trabajos en 2 plano en tu caso estas enviando 500 emails o más y para la experiencia del usuario es mejor usar job , lo de crear un command es para crear un codigo que ejecutes ciertas actividades de forma programada , es parecido a lo que hace un "cron" , yo lo que hiciera es : en el archivo SendEmailJob ( command) creara un foreach que recorra la tabla y si existe trabajos que no han sido enviados ( tus emails que estan en la tabla job ) que los envie , luego lo programas en el kernel $schedule->command('SendEmailJob')->everyMinute(); para que se ejecute cada minutos y asi este observando la tabla para ver si hay trabajos disponibles.

aqui te dejo documentacion oficial: https://laravel.com/docs/8.x/scheduling

He estado leyendo con mayor detenimiento lo que te respondieron arriba , es exactamente eso. "cron job -schedule"

0

Si usas

php artisan queue:work

Queda ejecutandose en un bucle en tu servidor , si lo que necesitas es activar en tu servidor ese codigo ( queue:work ) , te recomiendo que te crees un command en console:

php artisan make:command SendEmailJob //esto creara en tu proyecto laravel unos archivos en la direccion:

app/console/commands/SendEmailjob

en ese archivo en la seccion de :

protected $signature = 'SendEmailjob:emails'

mas abajo en :

public function handle()

(aqui escribes el codigo que requieras, puedes llamar desde ahi controller,model etc..)

en tu caso puedes hacer que se envien los emails desde ahi y se agreguen a tu tabla job que creaste con queue:table..

luego te vas a app/console/kernel.php

en la parte de

protected function schedule(Schedule $schedule)

aqui abajo escribes:

$schedule->command('SendEmailJob')->everyMinute();

puedes cambiar el tiempo que tu quieres que se ejecute dicho command en este caso envio de Emails o que active a una determinada hora el commando

php artisan queue:work
1
  • gracias por responder, al crear el make:command ya no es necesario crear el job? Commented el 22 jun. 2021 a las 23:12

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.