0

tengo un programa que toma datos de internet y los insert en la base de datos, al ser gran cantidad lo hago usando threading, donde cada hilo crea su propia tabla en la base de datos para avitar que quieran insertar informacion en la misma fila a la vez y luego cada cierto tiempo uno los resultados en una tabla extra, parte de mi codigo seria el siguiente:

def tarea(numero_tabla):
    global cont
    global errores
    global cont_save
    global cantidad_hilos
        

    while True:
        # Establecer la conexión con la base de datos
        conexion = mysql.connector.connect(
        host='localhost',
        user='root',
        password='1234',
        database='test'
        )

        # Crear un objeto cursor
        cursor = conexion.cursor()

        cont_save+=1 #contador de datos insertados, solo para mi control

        if cont_save%(cantidad_hilos*10)!=0: 
            try:
                tabla(numero_tabla,cursor=cursor)
                frase = words(numero_tabla,cursor=cursor)
                guardar_datos(numero_tabla=numero_tabla,datos=manejo(frase),cursor=cursor)
                limpiar_consola()
                print(f"""Se han insertado {cont} datos en la BD, con {errores} errores""")
            except Exception as ex:
                errores+=1
                limpiar_consola()
                print(ex)
                print(f"""Se han insertado {cont} datos en la BD, con {errores} errores""")
                
        else:
            unir_tablas(cursor=cursor)# aqui uno las tablas en una sola extra
            
        # Cerrar el cursor y la conexión
        conexion.commit()
        cursor.close()
        conexion.close()


threads = []
for i in range(1,5):
    thread = threading.Thread(target=tarea,args=(i,))
    threads.append(thread)

for thread in threads:
    thread.start()

for thread in threads:
    thread.join()

Aqui les muestro el error que me aparece:

(sqlite3.OperationalError) database is locked
(Background on this error at: https://sqlalche.me/e/20/e3q8)

aclaro, estoy usando MySql

el link del error me proporciona esta informacion:

Error Operacional 
Excepción generada por errores relacionados con el funcionamiento de la base de datos y que no están necesariamente bajo el control del programador, por ejemplo, se produce una desconexión inesperada, no se encuentra el nombre de la fuente de datos, no se pudo procesar una transacción, se produjo un error de asignación de memoria durante el procesamiento, etc.

Este error es un error DBAPI y se origina en el controlador de la base de datos (DBAPI), no en SQLAlchemy.

Es OperationalErrorla clase de error más común (pero no la única) utilizada por los controladores en el contexto de la caída de la conexión de la base de datos o la imposibilidad de conectarse a la base de datos. Para obtener consejos sobre cómo lidiar con esto, consulte la sección Cómo lidiar con las desconexiones .

PD:la situacion seria en si que al intentar agregar datos usando threading, a veces la base de datos esta bloqueada, ya que estan insertando datos en ella a la vez , cosa que no deberia pasar ya que cada proceso tiene su propia conexion e inserta datos en diferentes tablas, pero bueno, la pregunta podria ser, como podria hacer quizas que si esta escribiendo un proceso que los demas haga fila para cuando termine escriba de uno en uno, creo que seria la cuestion que me evitaria ese error

4
  • 4
    No entiendo cómo puede ser que estés usando un conector de mysql y te salga un error de sqlite3. Revisa mejor el código que nos quieres hacer revisar. Commented el 20 abr. 2023 a las 11:57
  • agregue la informacion que me proporciona el error, entiendo lo que dices, la misma web lo comunica
    – Nigan
    Commented el 21 abr. 2023 a las 0:33
  • Entonces, habría que ver por que te manda un error de sqlite3. Por que mysql no debería de darte dicho error.
    – Dante S.
    Commented el 21 abr. 2023 a las 13:51
  • la situacion seria en si que al intentar agregar daatos usando threading, a vaces la base de datos esta bloqueada, ya que estan insertando datos en ella, cosa que no deberia pasar ya que cada proceso tiene su propia conexion, pero bueno, como podria hacer quizas que si esta escribiendo un proceso que los demas haga fila para cuando termine escriba de uno en uno, creo que seria la cuestion que me evitaria ese error
    – Nigan
    Commented el 22 abr. 2023 a las 10:25

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.