1

Os planteo mi problema. Tengo el siguiente código que concatena una lista de archivos en formato shapefile, hasta ahí todo bien, de echo el código funciona perfectamente. Mi problema resulta que la lista de archivos que tengo que concatenar es bastante grande con lo que la operación tarda en completar.

Lo que quiero conseguir, es que en la consola aparezca un contador que sume la iteraciones cada vez que un archivo sea escrito en el directorio de salida para yo saber cuanto falta para que finalice el proceso. Reciente he empezado a usar python así que apenas he podido probar alguna solución.

Os dejo el código que estoy usando:

folder = Path(r"directorio lectura")
shapefiles = folder.glob("PARCELA(*).SHP")
gdf = pandas.concat([
    geopandas.read_file(shp)
    for shp in enumerate(shapefiles)
]).pipe(geopandas.GeoDataFrame)
gdf.to_file(folder / r'directorio escritura')

De momento he conseguido probar esta solución y funciona:

from pathlib import Path
import pandas
import geopandas

contador = 0
while contador <= 4:
    folder = Path(
        r"directorio lectura")
    shapefiles = folder.glob("PARCELA(*).SHP")
    gdf = pandas.concat([
        geopandas.read_file(shp)
        for shp in shapefiles
    ]).pipe(geopandas.GeoDataFrame)
    gdf.to_file(
        folder / r'directorio escritura')
    contador += 1
    print('Contador:', contador)

Desconozco hasta que punto el aplicar este contador afecta al rendimiento del proceso.

Gracias de antemano.

4
  • Cuidado con usar print para ver el progreso. Además de informar al desarrollador, raletizará considerablemente al programa si se usa con demasiada frecuencia.
    – Dante S.
    Commented el 3 ene. 2022 a las 16:04
  • 1
    Puedes reescribir el código de una manera no compacta y así actualizar un contador. Sería buena idea que ese procedimiento se ejecute en un hilo diferente para no bloquear la interfaz. Además de ir leyendo de vez en cuando el contador desde el hilo principal para no ralentizar el programa.
    – Mateo
    Commented el 3 ene. 2022 a las 16:11
  • Suena bien! He estado buscando información sobre los hilos, aún que no veo la manera de integrar mi codigo con un hilo "contador".
    – J.Patordi
    Commented el 3 ene. 2022 a las 16:52
  • 2
    No creo que un hilo ayude ahi, pues en este caso no hay "interfaz" que bloquear. Lo que a lo mejor te gusta conocer es la existencia de librerías para crear barras de progreso de forma "automágica"., como tqdm Basta que pongas tqdm() alrededor de un iterable para que la barra de progreso aparezca sola y se actualice al ir iterando.
    – abulafia
    Commented el 3 ene. 2022 a las 19:36

1 respuesta 1

1

Al final he usando como @abulafia ha propuesto la librería tqdm y ha funcionado a la perfección a la hora de contar iteraciones, incluso te indica el tiempo que tarda por iteración además del tiempo total transcurrido.

El código ha quedado así:

from pathlib import Path
import pandas
import geopandas
from tqdm import tqdm

folder = Path(r"directorio lectura")
shapefiles = folder.glob("PARCELA(*).SHP")
gdf = pandas.concat([
    geopandas.read_file(shp)
    for shp in tqdm(shapefiles)
]).pipe(geopandas.GeoDataFrame)
gdf.to_file(folder / r'directorio escritura')

Gracias y saludos.

2
  • 1
    ¿Te indica también el tiempo estimado para la finalización? Ese solo puede calcularlo si el iterable que le pasas a tqdm() es además un "contenedor" (es decir, un objeto del cual se pueda computar su len()) pues así puede saber cuántos elementos tiene y por tanto cuántos faltan para acabar. Si en tu caso no sale esa información, es que shapefiles no es un contenedor, sino tan solo un iterable. Puedes arreglar el problema haciendo que sea una lista: shapefiles = list(folder.glob(...))
    – abulafia
    Commented el 4 ene. 2022 a las 12:17
  • Correcto, he probado lo que dices y ahora me sale el total de iteraciones que va a hacer el proceso. Muy útil! Lo que no me informa es a la hora de procesar el .to_file. He probado de inculir el tqdm tal que así tqdm(gdf.to_file(...)) pero no da resultado. Supongo que no se considera una iteración.
    – J.Patordi
    Commented el 5 ene. 2022 a las 10:47

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.