1

Necesito automatizar la creación de una partición en PostgreSQL pero utilizando un job de spark.

Si corro la siguiente consulta en la consola de postgresql, jala bien:

CREATE TABLE IF NOT EXISTS mi_particion
PARTITION OF mi_tabla
FOR VALUES FROM ('<fecha1>') TO ('<fecha2>');

Pero cuando la intento meter dentro de una query en un job de spark de la siguiente manera:

var CreatePartitionTemplate=
  s"""
    |CREATE TABLE IF NOT EXISTS mitabla_miparticion
    |PARTITION OF mi_tabla
    |FOR VALUES FROM ('%s') TO ('%s')
    |""".stripMargin
val createNewPartition = CreatePartitionTemplate.format(today, tomorrow)

spark.read
  .format("jdbc")
  .option("url", JdbcUrl)
  .option("user", PgUser)
  .option("password", PgPass)
  .option("query", createNewPartition)
  .load()

Me aparece el error:

PSQLException: ERROR: syntax error at or near "CREATE"

1
  • 1
    ¿Y si más bien le pones pg_partman a ese postgresql y así Spark no se mete con eso?
    – Alfabravo
    Commented el 19 abr. 2023 a las 14:34

1 respuesta 1

0

En lugar de overkillear y usar spark, mejor le hice caso a ChatGPT, y usé el conector jdbc de java pero en scala:

import java.sql.DriverManager

val CreateNewPartitionTemplate =
s"""
   |CREATE TABLE IF NOT EXISTS my_table_%s
   |PARTITION OF my_table
   |FOR VALUES FROM ('%s') TO ('%s')
   |""".stripMargin
/*Create new partition*/
val todayDateFormatted = todayDate.toString.replaceAll("-", "_")
val createNewPartitionSql = CreateNewPartitionTemplate.format(todayDateFormatted, todayDate, tomorrowDate)
println(createNewPartitionSql)

val connection = DriverManager.getConnection(jdbcUrl, PgUser, PgPass)
val statement = connection.createStatement()
statement.executeUpdate(createNewPartitionSql)
connection.close()

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.