Tengo el siguiente código que lo que prende hacer es extraer de archivos de excel ciertos datos para ser almacenados luego en un archivo pandas y desde ahí pues pretendo importarlo a una base de datos.
import pandas as pd
consolidado = pd.DataFrame(columns=['nombre_candidato'])
url_base = 'https://app.....xls/'
i = 1
for i in range(120000):
url=url_base + str(i)
try:
df = pd.read_excel(url)
consolidado=consolidado.append({'nombre_candidato':df.iloc[13,13]}, ignore_index=True)
i = i+1
except:
i = i+1
print('cantidad de paginas consultadas: ',i)
Cómo podrán observar, el reto en este proyecto personal radica en el hecho de que son 120 mil archivos de excel que pretendo consultar y extraer la data. Mi problema principal es de rendimiento, cuando ejecuto el código, claramente no he podido ver la luz al final del túnel, no logro terminar, he intentado con rangos pequeños (100, 200, 300) y claramente termina bien la ejecución pero es muy lenta.
Así pues, les pido su ayuda para resolver este problema. Cualquier ayuda que me puedan brindar se las agradezco de antemano.
Feliz resto de día.
i=i+1
pues en los ciclosfor
las variables ya se incrementan solas y en segundo lugar no estas haciendo nada condf.iloc
df
si vas a hacer elappend()
deberías hacerlo con esa variable y yo no veo que la utilices