Estoy armando una consulta a una tabla .parquet con spark scala donde tengo una condicion (where) para obtener los registros que tengan el pais = peru o colombia. Por ejemplo:
val transform = path.select(
col("continente"),
col("pais"),
col("columna_3")
...)
val condition = transform.where("continente = 'SUDAMERICA' AND (pais = 'PERU' OR pais = 'COLOMBIA')")
condition.show(50,false)
Sin embargo ahora necesito considerar una cantidad variable de paises en mi condición que estaran en un archivo .csv (repito este archivo csv va variar de cantidad de paises en el tiempo); no logro encontrar información de como incluir el contenido del .csv en la consulta, pero si se como leer el csv con:
import org.apache.spark.sql.csv
spark.read.csv("path/csv")
Pero quisiera obtener en mi condicion algo como:
val condition = transform.where("continente = 'SUDAMERICA' AND (pais = '#paisesDelCsv')")
Un ejemplo del archivo .csv seria:
PERU,COLOMBIA,BRASIL,ECUADOR,ARGENTINA
Si alguien tiene alguna idea, o si se puede hacer de otro modo me gustaria saber sus opiniones...