Estoy descargando algunos archivos usando urllib.request y urllib3 en un método recursivo pero cuando la red falla el programa se para y da error. Mi intención es que si la red falla el script siga intentando la conexión hasta que se establezca y siga descargando por el archivo que se quedó. Creo que no hilos o con socket se puede hacer algo pero no sé como ¿Alguna idea?
Tengo este método recursivo para buscar los archivos que me interesan y descargarlos:
def dfs(url):
if ".deb" in url:
print(url)
urllib.request.urlretrieve(url, "D:\ejemplo\ file.deb")
else:
req = http.urlopen("GET", url)
soup = BeautifulSoup(req.data, 'html.parser')
for link in soup.findAll('a'):
if link.get('href') != "../":
dfs(url + link.get('href'))
Los errores que se producen son:
TimeoutError: [WinError 10060] Se produjo un error durante el intento de conexión ya que la parte conectada no respondió adecuadamente tras un periodo de tiempo, o bien se produjo un error en la conexión establecida ya que el host conectado no ha podido responder
urllib.error.URLError:<urlopen error [WinError 10060] Se produjo un error durante el intento de conexión ya que la parte conectada no respondió adecuadamente tras un periodo de tiempo, o bien se produjo un error en la conexión establecida ya que el host conectado no ha podido responder>