1

necesito descargar los archivos de una url uno a uno. Cada vez que descargue un archivo, realizarle unas operaciones y eliminarlo, así con todos los archivos. Necesito hacer esto de forma automática. Se como descargar un archivo específico con urllib.request de la forma que muestro abajo pero trabajo con una url que es un repositorio lleno de carpetas y archivos.

import urllib.request
testfile = urllib.request.urlretrieve("http://example.com/ex/a11y-profile-manager-doc_0.1.10-0ubuntu3_all.deb","D:\carpeta_ejemplo\ file.deb")

Si pudieran comentarme también como puedo eliminar también el archivo se los agradecería.

2
  • ¿La idea es descargarse todos los ficheros del directorio y también iterar recursivamente sobre los posibles subdirectorios obteniendo también sus archivos o solo quieres los archivos del directorio padre?¿Vas a filtrar archivos por extensión o nombre?¿Te interesaría descargar los archivos de forma asíncrona o simplemente uno detrás de otro?
    – FJSevilla
    Commented el 5 abr. 2018 a las 22:02
  • La idea es descargarse todos los ficheros del directorio y también iterar recursivamente sobre los posibles subdirectorios obteniendo también sus archivos. Pretendo filtrarlos por extensión (.deb en este caso). Me entera descargar los archivos uno detrás del otro para poder buscar lo que me interesa de cada archivo y después eliminarlo.
    – Jorge
    Commented el 5 abr. 2018 a las 22:07

2 respuestas 2

1

Adicionalmente python te permite con el paquete glob mapear todos los archivos que contiene una URL array_files = glob.glob(yourURLhere)

0

La solución para mi pregunta la encontré de la siguiente forma:

from bs4 import BeautifulSoup
import urllib3
http = urllib3.PoolManager()

BASE_URL = "http://ubuntu.uci.cu/ubuntu/pool/"
def dfs(url):
    # mark[url] = True
    if ".deb" in url:
        print (url) #Código para la descarga

    else:
        req = http.urlopen("GET",url)
        soup = BeautifulSoup(req.data,'html.parser')
        for link in soup.findAll('a'):
            if link.get('href') != "../":
                dfs(url + link.get('href'))

print(dfs(BASE_URL))

Solo falta la descarga lo cual es muy sencillo teniendo las url.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.