1

Tengo un proceso que procesa un archivo de entrada, utiliza el 100% del procesador (utiliza los 16 núcleos), y 8 GB de RAM. Actualmente lo ejecuto directamente desde la consola. Pero necesito llamar a este proceso desde un servicio REST. El servicio debe ser asincrono, y que habrá otro servicio para consultar la salida del primer servicio llamado. Los archivos de entrada deben ser encolados, porque solo se puede procesar uno por vez. Utilizo RestEasy en Wildfly.

Mi consulta es:

¿Qué arquitectura sugieren para llamar a este proceso?

Tengo estas posibles soluciones.

  • Llamar desde mi EJB al JAR con Runtime. Y tener una cola de archivos en una base de datos.

  • Tranformar mi JAR en un Demonio, que este monitoreando constantemente un directorio. Y se vayan almacenando los ficheros ahí. Y que el demonio tome uno a uno los archivos según la fecha de llegada.

  • Copiar las clases en mi proyecto EAR, y llamarlos como un simple EJB, y que wildfly administre los recursos. Esto también implicaría tener una cola de archivos en una base de datos.

¿Tienen alguna otra sugerencia?

1 respuesta 1

1

La primera respuesta que se me ocurre es: No lo hagas en el WebService.

Un proceso tan pesado que necesita tanta RAM y tanto uso de CPU es un anti-patrón en un WebService; lo va a bloquear. No aprecio ninguna ventaja a incluir esto dentro de un WS.

Lo que yo recomendaría es que el WS reciba las solicitudes y las almacene en una tabla. También el WS puede consultar en esa misma tabla para comprobar el estado de esos batches.

Y luego, idealmente en otra máquina, puedes tener tu aplicación corriendo mirando la base de datos cada poco tiempo, arrancando los procesos que le pongan en esa tabla (de uno en uno como comentas), y actualizando la tabla con los resultados que obtenga. Te obligará a poner un poco de gestión como rearrancar los procesos muertos al iniciar la aplicación, comprobar mediante fecha/hora cuánto tiempo lleva el proceso corriendo y si convendría reiniciarlo, etcétera, pero merece la pena.

Un WS es un entorno de alta concurrencia por definición. Si metes un proceso multi-hilo tan grande lo más probable es que sea en detrimento del servicio del WS, lo cual es algo que normalmente no te puedes permitir. Si aún así lo quieres meter, haz lo que te he dicho en un war aparte que atienda las solicitudes relacionadas con este proceso, mete el jar que permite hacer el proceso en ese war, y luego añade ese war al ear que ya estarás generando.

Si lo metes en el WS recomiendo limitar un poco los recursos que utiliza ese proceso para que no bloquee o ralentice en exceso al resto de la aplicación.

2
  • Publico como un WS, porque son varias operaciones las que podrían realizar los clientes (autenticaciòn, iniciar cálculo, consultar estado, detener cálculo). Realmente el WS no será de alta concurrencia, como máximo tendría 10 a 20 clientes, y cada cliente solo puede tener un proceso en la cola. Básicamente es un motor de calendarización, donde los clientes envía las condiciones del problema, y el proceso tiene un modelo matemático y ejecuta un Algoritmo Genético. El tiempo de ejecución depende del tamaño del problema, podría tardar un minuto como varias horas. Commented el 6 jun. 2017 a las 0:38
  • Insisto en que el WS puede ofrecer toda esa funcionalidad sin que se ejecuten los procesos dentro de éste, o bien 'comunicándose' con el proceso a través de la bd, o bien utilizando JMS o alguna otra forma de mensajería para las solicitudes. Creo que JMS sería el modo mejor, ya que te permite expandir la aplicación en el futuro, pero usar la BD sería el desarrollo más sencillo y rápido.
    – Calabacin
    Commented el 6 jun. 2017 a las 13:00

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.