0

Quiero hacer un Update de todos los valores contenidos en una columna de un dataframw. La función la uso en un bucle para ir actualizando uno a uno. Quiero evitar aperturas constantes a la BBDD.

Por lo tanto, ¿hay alguna forma de actualizar un conjunto de datos de forma masiva? Si hay que cambair el formato de la columna y convertirla a una array no me importaría, pero desconozco las posibilidades.

def updateAnomaliaTempHum(x):

    try:
        # Connect to MariaDB Platform
        conn = mariadb.connect(
            user=??,
            password=??,
            host=??,
            port=??,
            database=??
        )
    except mariadb.Error as e:
        print(f"Error connecting to MariaDB Platform: {e}")
        sys.exit(1)

    # Get Cursor
    cur = conn.cursor()

    querySeleccionDatos = ("""UPDATE Dispositivos
                            SET tipoAnomalia = 22, fechaAnomalia = CURRENT_TIMESTAMP
                            WHERE dispositivo = '%s'; """ %x)

    cur.execute(querySeleccionDatos)

    conn.close()
    cur.close()

for i in df_Datos.index:
    if(i>len(df_Datos)):
        break

    if(x == True):
        updateAnomaliaTempHum(df_Datos['dispositivo'][i])
5
  • Nadie dijo que debías abrir la base de datos a cada rato. De hecho, yo no entiendo bien por que no la abren una vez y ya. Creo que alguien me dijo que era por seguridad. Pero en este caso lo que podés hacer es abrir la conexión una sola vez y usando ese mismo objeto de conexión ir enviando los datos. Una vez enviado todo, podés cerrarla.
    – Dante S.
    el 10 nov. 2022 a las 19:59
  • Sin embargo, respondiendo a tu duda, si los datos y columnas a actualizar son los mismos para todos los registros, podés usar un where que de True para todos los dispositivos en el DataFrame. No se como sería en mariadb, pero en postgresql sería algo como dispositivo IN (dispositivo1, dispositivo2, ..., dispositivon).
    – Dante S.
    el 10 nov. 2022 a las 20:02
  • hola @DanteS. gracias por la información. Realmente, nunca voy a saber cuantos dispositivos voy a tener que Updatear, por lo que creo que esa opción no me sirve
    – LopezAi
    el 11 nov. 2022 a las 8:37
  • Pero podes obtener del dataframe todos los dispositivos a actualizar. No necesitas saber cuantos son, si no cuales son.
    – Dante S.
    el 11 nov. 2022 a las 12:28
  • sí @DanteS. tienes razón, pero no sé como covnertir la columna del dataframe a la query SQL
    – LopezAi
    el 13 nov. 2022 a las 18:31

1 respuesta 1

0

Nota: Nunca usé mariadb (ni pienso levantar un server para probarlo), pero si de sql. Además, leí algo de documentación. Si alguien considera que esta respuesta puede mejorarse/corregirse, le invito a editarla.


Usando una conexión para procesar varias consultas

Primero que nada, reitero lo que dije en los comentarios. Nadie te obliga a abrir y cerrar la conexión cada vez que haces una consulta sql. Podrías abrir la conexión, hacer las consultas que haga falta y recién ahí cerrás la conexión.
Yo en lo personal, dejo la conexión abierta durante la existencia del programa. Pero leí un comentario de alguien (aunque no se puede probar la veracidad de lo que dice) que se tiene la conexión abierta por poco tiempo por seguridad.

Un ejemplo de esto es lo siguiente:

con = ...
cursor = con.cursor()

for i in range(100):
    cursor.execute("INSERT INTO tabla(columna) VALUES (%s)", (i,))

con.commit()
con.close()

Creando una sola consulta

Sin embargo, concuerdo en que, si se usa un for y se actualiza un solo dispositivo a la vez cuando los datos a ingresar son siempre los mismos (es decir, no varían segun el dispositivo), se podría modificar la consulta.

El plan es usar una consulta de este estilo:

UPDATE tabla SET ... WHERE dispositivo IN (dispositivo1, dispositivo2, ... dispositivon)

Pero, parece que mariadb no acepta una tupla como parametro, asi que tendremos que usar un arma de ultimo recurso: formateo de cadenas.

"UPDATE tabla SET ... WHERE dispositivo IN ({})".format(",".join("%s" for _ in range(len(lista_dispositivos))))

Esto nos generará la siguiente cadena:

UPDATE tabla SET ... WHERE dispositivo IN (%s, ..., %s)

En la cual podemos usar parametros.

Nota: Ten cuidado cuando formateas una consulta sql de este modo. Esto se debe usar solo como ultimo recurso y con la mente enfocada en evitar la inyección sql.

Obteniendo los parametros

Lo que necesitamos para obtener los parametros es esto:

tuple(df["dispositivo"])

El plan es obtener la columna dispositivo y usar tuple para convertirla a tupla. tuple convierte automaticamente la serie en un iterador. Cuando se itera sobre una serie de pandas, se va devolviendo cada valor que contiene.

Código execute final.

En este caso, obtendremos todos los dispositivos. Pero después podés modificarlo para obtener solo los dispositivos que desees que se actualizen.

dispositivos = tuple(df["dispositivo"])

cursor.execute("UPDATE tabla SET ... WHERE dispositivo IN ({})"
               .format(",".join("%s" for _ in range(len(dispositivos)))),
               dispositivos)

Pasando otros parametros

El plan sería crear una nueva tupla con los parametros. Deberás colocar los parametros antes o después de *dispositivossegún de "que lado del IN" está el parametro (recuerda que en realidad, al armar el in, estamos pasando n parametros, NO uno solo).

dispositivos = tuple(df["dispositivo"])

parameters = ("hola mundo", *dispositivos, "adios mundo")

cursor.execute("UPDATE tabla SET cadena=%s, ... WHERE dispositivo IN ({}) AND cadena=%s"
               .format(",".join("%s" for _ in range(len(dispositivos)))),
               parameters)

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.