Estoy ejecutando un job de Spark dentro de AWS Glue, usando multi threading y leyendo una tabla de MySql (particionada). Básicamente, tengo un thread por día de un mes específico, y cada día es una Task (numPartitions = 1). La configuración del clúster es G2, es decir, 5 workers (1 es el Driver) con 12,6 GB de MEM y 16 núcleos. Estoy usando el modo FAIR. En este caso, estoy leyendo enero / 2021 desde la tabla. Entonces puedo ver en Spark History Server 31 subprocesos, cada uno de ellos con una tarea. El driver está distribuyendo 16 tareas (16 días) en un worker (executor) y las otras 15 tareas (15 días) en otro worker (executor). Si hago un dump de la tabla desde MySql, el archivo de salida es de aproximadamente 10 GB. Entonces, si sabemos que cada día (es una tabla con transacciones y estoy leyendo las transacciones por día) tiene casi el mismo número de filas, puedo asumir que 15 días ~ 5 GB.
Mi pregunta aquí es:
¿Por qué Spark se queda sin memoria si está tratando de leer ~ 5GB en un worker con casi 13GB?
¡Gracias de antemano por la respuesta!