Estoy trabajando con Python y wget para descargar unas imágenes de forma automática, pero me parece que es un poco lento. ¿Existe alguna forma de hacerlo más rápido o multihilo? Hasta ahora, el código permite leer los links desde un txt y descargar las imágenes a un directorio específico y que cada archivo tenga como nombre, un número consecutivo. Este el código:
import wget
f = open("directorio_txt/manga.txt", "r")
i=1
for url in f:
print("Número:", i)
print(url)
wget.download(url, 'directorio_destino/{}.jpg'.format(i))
i+=1
f.close()
Intenté utilizar algo como esto: ¿Como se puede realizar la descarga de un archivo con Python con multiples conexiones (por ejemplo: algo como hace el gestor de descargas IDM)?, pero no me funcionó; sólo mostró en consola:
Descarga parcial no soportada, iniciando descarga...
Con multiprocessing
logré mejorar el tiempo, pero tengo un problema con el código: obvia algunos archivos sin seguir un patrón específico. Este es el código:
import wget
import multiprocessing
def descargar(url, salida):
wget.download(url, out=salida)
if __name__ == '__main__':
simul = 10
check_cpu = multiprocessing.cpu_count()
p = multiprocessing.Pool(check_cpu if check_cpu < simul else simul)
f = open("directorio_txt/manga.txt", "r")
i=1
for url in f:
p.apply_async(descargar, args=(url, 'directorio_destino/{}.jpg'.format(i)))
i+=1
f.close()
p.close()
p.join()
¿Podrían decirme cómo arreglarlo o si hay alguna otra opción más óptima?
PD: La velocidad de descarga de la conexión es muy lenta.
print
eso ralentiza enormemente la ejecuciónmultiprocessing
, pero de 12 archivos que debía descargar, se saltó el 8vo. Eso sí, mejoró el tiempo; pero no es confiable. ¿Puedo editar esta pregunta y mostrar el código nuevo?