Tengo un problema al querer pasar mi variable a una sentencia SQL usando spark.sql, en python.
mi intencion es la siguiente:
tengo mi variable asi, por ejemplo:
mi_variable = "mi_set_name"
Y tengo una consulta sql de esta manera:
dfNode = spark.sql(''' SELECT n.*, h2.settype
FROM SETNODE_SubsetenSet n
inner join SETHEADER_CabeceraeIndiceSet h2 on n.subsetcls = h2.setclass and n.subsetscls = h2.subclass and n.subsetname = h2.setname and n.mand = h2.mand
where n.MAND = '400'
AND n.subclass = 'FEBR'
AND n.SETNAME = mi_variable
AND n.setclass = '0101' ''').collect()
Solamente que no puedo pasar el valor o acomodar las comillas simples para asignarle el valor de mi variable a la sentencia SQL.
He intentado lo siguiente, pero sin conseguirlo:
dfNode = spark.sql(''' SELECT n.*, h2.settype
FROM SETNODE_SubsetenSet n
inner join SETHEADER_CabeceraeIndiceSet h2 on n.subsetcls = h2.setclass and n.subsetscls = h2.subclass and n.subsetname = h2.setname and n.mand = h2.mand
where n.MAND = '400'
AND n.subclass = 'FEBR'
AND n.SETNAME = {}
AND n.setclass = '0101' '''.format(mi_variable)).collect()
No se si alguien me puede ayudar en esta tarea, apenas estoy viendo el tema de Spark.sql
Cualquier informacion que requieran estaré al pendiente