tengo un programa que toma datos de internet y los insert en la base de datos, al ser gran cantidad lo hago usando threading, donde cada hilo crea su propia tabla en la base de datos para avitar que quieran insertar informacion en la misma fila a la vez y luego cada cierto tiempo uno los resultados en una tabla extra, parte de mi codigo seria el siguiente:
def tarea(numero_tabla):
global cont
global errores
global cont_save
global cantidad_hilos
while True:
# Establecer la conexión con la base de datos
conexion = mysql.connector.connect(
host='localhost',
user='root',
password='1234',
database='test'
)
# Crear un objeto cursor
cursor = conexion.cursor()
cont_save+=1 #contador de datos insertados, solo para mi control
if cont_save%(cantidad_hilos*10)!=0:
try:
tabla(numero_tabla,cursor=cursor)
frase = words(numero_tabla,cursor=cursor)
guardar_datos(numero_tabla=numero_tabla,datos=manejo(frase),cursor=cursor)
limpiar_consola()
print(f"""Se han insertado {cont} datos en la BD, con {errores} errores""")
except Exception as ex:
errores+=1
limpiar_consola()
print(ex)
print(f"""Se han insertado {cont} datos en la BD, con {errores} errores""")
else:
unir_tablas(cursor=cursor)# aqui uno las tablas en una sola extra
# Cerrar el cursor y la conexión
conexion.commit()
cursor.close()
conexion.close()
threads = []
for i in range(1,5):
thread = threading.Thread(target=tarea,args=(i,))
threads.append(thread)
for thread in threads:
thread.start()
for thread in threads:
thread.join()
Aqui les muestro el error que me aparece:
(sqlite3.OperationalError) database is locked
(Background on this error at: https://sqlalche.me/e/20/e3q8)
aclaro, estoy usando MySql
el link del error me proporciona esta informacion:
Error Operacional
Excepción generada por errores relacionados con el funcionamiento de la base de datos y que no están necesariamente bajo el control del programador, por ejemplo, se produce una desconexión inesperada, no se encuentra el nombre de la fuente de datos, no se pudo procesar una transacción, se produjo un error de asignación de memoria durante el procesamiento, etc.
Este error es un error DBAPI y se origina en el controlador de la base de datos (DBAPI), no en SQLAlchemy.
Es OperationalErrorla clase de error más común (pero no la única) utilizada por los controladores en el contexto de la caída de la conexión de la base de datos o la imposibilidad de conectarse a la base de datos. Para obtener consejos sobre cómo lidiar con esto, consulte la sección Cómo lidiar con las desconexiones .
PD:la situacion seria en si que al intentar agregar datos usando threading, a veces la base de datos esta bloqueada, ya que estan insertando datos en ella a la vez , cosa que no deberia pasar ya que cada proceso tiene su propia conexion e inserta datos en diferentes tablas, pero bueno, la pregunta podria ser, como podria hacer quizas que si esta escribiendo un proceso que los demas haga fila para cuando termine escriba de uno en uno, creo que seria la cuestion que me evitaria ese error