0

Tengo un problema al querer pasar mi variable a una sentencia SQL usando spark.sql, en python.

mi intencion es la siguiente:

tengo mi variable asi, por ejemplo:

mi_variable = "mi_set_name"

Y tengo una consulta sql de esta manera:

dfNode = spark.sql(''' SELECT n.*, h2.settype
                            FROM SETNODE_SubsetenSet n
                                inner join SETHEADER_CabeceraeIndiceSet h2 on n.subsetcls = h2.setclass and n.subsetscls = h2.subclass and n.subsetname = h2.setname and n.mand = h2.mand
                            where n.MAND = '400' 
                            AND n.subclass = 'FEBR'
                            AND n.SETNAME = mi_variable
                            AND n.setclass = '0101' ''').collect()

Solamente que no puedo pasar el valor o acomodar las comillas simples para asignarle el valor de mi variable a la sentencia SQL.

He intentado lo siguiente, pero sin conseguirlo:

dfNode = spark.sql(''' SELECT n.*, h2.settype
                            FROM SETNODE_SubsetenSet n
                                inner join SETHEADER_CabeceraeIndiceSet h2 on n.subsetcls = h2.setclass and n.subsetscls = h2.subclass and n.subsetname = h2.setname and n.mand = h2.mand
                            where n.MAND = '400' 
                            AND n.subclass = 'FEBR'
                            AND n.SETNAME = {}
                            AND n.setclass = '0101' '''.format(mi_variable)).collect()

No se si alguien me puede ayudar en esta tarea, apenas estoy viendo el tema de Spark.sql

Cualquier informacion que requieran estaré al pendiente

1
  • 1
    una opción más cómoda es usar f-strings y si necesitas de las comillas solo ponlas no habrá interferencia (al menos que pongas 3 seguidas)
    – Christian
    Commented el 12 oct. 2021 a las 23:28

1 respuesta 1

2

Puedes usar f-string para formar el string.

Un f-string es un string donde hay expresiones encerradas entre {}:

pag = 1
linea = f"Pagina {pag}"

Esto, por ejemplo, dejaría en "Pagina 1" en linea: la variable pag fue evaluada y reemplazada dentro del string.

No estas limitado a variables; puedes usar expresiones:

línea = f"Valor promedio = {sum(valores) / len(valores)}"

que producira algo como:

linea = "Valor promedio = 10"

Solución

Cambia el format por un f-string.

Para que la variable aparezca con cremillas, colocalas rodeando los corchetes:

AND n.SETNAME = '{mi_variable}'

Para conservar estas cremillas, usa cremillas dobles para encerrar el string completo.

Demo

mi_variable = "principal"
sentencia = f"""SELECT n.*, h2.settype 
                            FROM SETNODE_SubsetenSet n
                                inner join SETHEADER_CabeceraeIndiceSet h2 on n.subsetcls = h2.setclass and n.subsetscls = h2.subclass and n.subsetname = h2.setname and n.mand = h2.mand
                            where n.MAND = '400' 
                            AND n.subclass = 'FEBR'
                            AND n.SETNAME = '{mi_variable}'
                            AND n.setclass = '0101' """
print(sentencia)

produce:

                            FROM SETNODE_SubsetenSet n
                                inner join SETHEADER_CabeceraeIndiceSet h2 on n.subsetcls = h2.setclass and n.subsetscls = h2.subclass and n.subsetname = h2.setname and n.mand = h2.mand
                            where n.MAND = '400' 
                            AND n.subclass = 'FEBR'
                            AND n.SETNAME = 'principal'
                            AND n.setclass = '0101' 

Process finished with exit code 0

Versión con `format`

Puedes lograr lo mismo usando format tradicional:

mi_variable = "principal"
sentencia = """SELECT n.*, h2.settype 
                            FROM SETNODE_SubsetenSet n
                                inner join SETHEADER_CabeceraeIndiceSet h2 on n.subsetcls = h2.setclass and n.subsetscls = h2.subclass and n.subsetname = h2.setname and n.mand = h2.mand
                            where n.MAND = '400' 
                            AND n.subclass = 'FEBR'
                            AND n.SETNAME = '{}'
                            AND n.setclass = '0101' """.format(mi_variable)
print(sentencia)

que produce el mismo resultado.

2
  • 2
    Buena idea, pero creo que sería mejor que especifiques la versión de python adecuada para usar las fstrings. He estado en proyectos con pyspark donde las versiones instaladas en los clusters no son las más nuevas.
    – Cuauhtli
    Commented el 13 oct. 2021 a las 7:29
  • Muchas gracias por tu respuesta, tu solucion y tu ayuda, si me funciono como esperaba, usando el f-string, no hubo problema con tu solucion con la version de python actualmente. Commented el 13 oct. 2021 a las 14:30

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.