0

Estoy trabajando con Python y wget para descargar unas imágenes de forma automática, pero me parece que es un poco lento. ¿Existe alguna forma de hacerlo más rápido o multihilo? Hasta ahora, el código permite leer los links desde un txt y descargar las imágenes a un directorio específico y que cada archivo tenga como nombre, un número consecutivo. Este el código:

import wget

f = open("directorio_txt/manga.txt", "r")
i=1
for url in f:
    print("Número:", i)
    print(url)
    wget.download(url, 'directorio_destino/{}.jpg'.format(i))
    i+=1
f.close()

Intenté utilizar algo como esto: ¿Como se puede realizar la descarga de un archivo con Python con multiples conexiones (por ejemplo: algo como hace el gestor de descargas IDM)?, pero no me funcionó; sólo mostró en consola:

Descarga parcial no soportada, iniciando descarga...

Con multiprocessing logré mejorar el tiempo, pero tengo un problema con el código: obvia algunos archivos sin seguir un patrón específico. Este es el código:

import wget
import multiprocessing

def descargar(url, salida):
    wget.download(url, out=salida)

if __name__ == '__main__':
    simul = 10
    check_cpu = multiprocessing.cpu_count()
    p = multiprocessing.Pool(check_cpu if check_cpu < simul else simul)
    f = open("directorio_txt/manga.txt", "r")
    i=1
    for url in f:
        p.apply_async(descargar, args=(url, 'directorio_destino/{}.jpg'.format(i)))
        i+=1
    f.close()
    p.close()
    p.join()

¿Podrían decirme cómo arreglarlo o si hay alguna otra opción más óptima?

PD: La velocidad de descarga de la conexión es muy lenta.

5
  • 1
    No utilices print eso ralentiza enormemente la ejecución
    – Christian
    Commented el 4 ene. 2022 a las 18:46
  • OK. Gracias. Igual, ¿puedo hacerlo más rápido?
    – Firefly
    Commented el 4 ene. 2022 a las 18:55
  • Tal vez seria interesante tratar de entender como usaste algo que era para descargas parciales aplicado a tu algoritmo... una cosa es paralelizar el mismo archivo, y otra paralelizar la descarga de multiples archivos...
    – gbianchi
    Commented el 4 ene. 2022 a las 19:08
  • Si el servidor no te soporta la cabecera Range, entonces no podrás usar varios hilos para descargar un solo archivo como se hace en la respuesta que enlazas. Sin embargo sí que puedes usar varios hilos para descargar varias imágenes a la vez. Aunque cada imagen seguirá tardando lo mismo, el total de las imágenes terminará antes. Hazlo con cuidado de todas formas no vaya el servidor a banearte por un exceso de peticiones concurrentes. Usar unas 10 simultáneas no debería causar problema.
    – abulafia
    Commented el 4 ene. 2022 a las 19:09
  • Intenté utilizar multiprocessing, pero de 12 archivos que debía descargar, se saltó el 8vo. Eso sí, mejoró el tiempo; pero no es confiable. ¿Puedo editar esta pregunta y mostrar el código nuevo?
    – Firefly
    Commented el 4 ene. 2022 a las 20:41

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.