0

Tengo el siguiente código que lo que prende hacer es extraer de archivos de excel ciertos datos para ser almacenados luego en un archivo pandas y desde ahí pues pretendo importarlo a una base de datos.

import pandas as pd
consolidado = pd.DataFrame(columns=['nombre_candidato'])
url_base = 'https://app.....xls/'
i = 1
for i in range(120000):
  url=url_base + str(i)
  try:
    df = pd.read_excel(url)
    consolidado=consolidado.append({'nombre_candidato':df.iloc[13,13]}, ignore_index=True)
    i = i+1
  except:
    i = i+1
print('cantidad de paginas consultadas: ',i)

Cómo podrán observar, el reto en este proyecto personal radica en el hecho de que son 120 mil archivos de excel que pretendo consultar y extraer la data. Mi problema principal es de rendimiento, cuando ejecuto el código, claramente no he podido ver la luz al final del túnel, no logro terminar, he intentado con rangos pequeños (100, 200, 300) y claramente termina bien la ejecución pero es muy lenta.

Así pues, les pido su ayuda para resolver este problema. Cualquier ayuda que me puedan brindar se las agradezco de antemano.

Feliz resto de día.

6
  • en primer lugar quita ese i=i+1 pues en los ciclos for las variables ya se incrementan solas y en segundo lugar no estas haciendo nada con df.iloc
    – Christian
    Commented el 9 jul. 2021 a las 23:02
  • Saludos Christian. Tienes razón el df.iloc se me fue... no hace nada... y no lo tengo en cuenta... frente al i=i+1 no lo uso para controlar el ciclo, eso es claro... lo uso para controlar la url que se consulta en cada ciclo. Commented el 9 jul. 2021 a las 23:12
  • y que haces con la variable df si vas a hacer el append() deberías hacerlo con esa variable y yo no veo que la utilices
    – Christian
    Commented el 9 jul. 2021 a las 23:19
  • Tenés razón Chistian, con el ánimo de no escribir todo el código se me pasó escribir lo que hace df... te lo pongo aquí: consolidado=consolidado.append({'nombre_candidato' : df.iloc[13,13],'partido_mov' : df.iloc[11,2] Commented el 10 jul. 2021 a las 6:02
  • Lo siento, no se como simplificarlo, pues solo haces 2 cosas básicas (leer y guardar)
    – Christian
    Commented el 10 jul. 2021 a las 14:37

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.