1

Estoy ejecutando un job de Spark dentro de AWS Glue, usando multi threading y leyendo una tabla de MySql (particionada). Básicamente, tengo un thread por día de un mes específico, y cada día es una Task (numPartitions = 1). La configuración del clúster es G2, es decir, 5 workers (1 es el Driver) con 12,6 GB de MEM y 16 núcleos. Estoy usando el modo FAIR. En este caso, estoy leyendo enero / 2021 desde la tabla. Entonces puedo ver en Spark History Server 31 subprocesos, cada uno de ellos con una tarea. El driver está distribuyendo 16 tareas (16 días) en un worker (executor) y las otras 15 tareas (15 días) en otro worker (executor). Si hago un dump de la tabla desde MySql, el archivo de salida es de aproximadamente 10 GB. Entonces, si sabemos que cada día (es una tabla con transacciones y estoy leyendo las transacciones por día) tiene casi el mismo número de filas, puedo asumir que 15 días ~ 5 GB.

Mi pregunta aquí es:

¿Por qué Spark se queda sin memoria si está tratando de leer ~ 5GB en un worker con casi 13GB?

¡Gracias de antemano por la respuesta!

3
  • Hola Ema estás en la versión en español por lo que tu pregunta debería estar en español, considera traducirla o moverla al sitio correcto / Hi Ema, welcome to Stack Overflow en español, this is the spanish version of Stack Overflow, so please consider to translate your question or move it to the right site. Commented el 3 sept. 2021 a las 21:31
  • Gracias Ricardo. Ahi la traduje!
    – Ema
    Commented el 3 sept. 2021 a las 21:46
  • Por favor, edita la pregunta para limitarla a un problema específico con suficiente detalle para identificar una respuesta adecuada.
    – Comunidad Bot
    Commented el 3 sept. 2021 a las 21:48

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.