0

Estoy intentando descargar el contenido web de la web https://es.gearbest.com/gadget-deals.html

con cualquier otra web funciona, pero con esta no. he leído algo sobre las cabeceras, pero he probado varias y nada.

from urllib import request
from urllib.request import urlopen, Request
import re

#headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'}
headers = {"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.2.8) Gecko/20100722 Firefox/3.6.8 GTB7.1 (.NET CLR 3.5.30729)", "Referer": "http://example.com"}

url = 'https://es.gearbest.com/gadget-deals.html'
page = urlopen(Request(url, headers=headers, )).read()#.decode('utf8')
#page = urlopen(Request(url)).read()

print(page)

1 respuesta 1

0

Esa página parece ser bastante exigente con lo que el cliente le envía (quizás para evitar que le hagas scraping). No he conseguido que me responda usando la biblioteca urllib que tú usas, pero sí usando requests, y con un User-Agent adecuado (el que tú pones en tu código tampoco lo admitía).

Este es el código que me funcionó:

import requests

headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:65.0) Gecko/20100101 Firefox/65.0"
}

url = "https://es.gearbest.com/gadget-deals.html"
r = requests.get(url, headers=headers)

print(r.status_code)

200

Si algo no está como espera, el servidor simplemente no responde, causando un timeout en el cliente (que es el error 10060 que obtienes)

1
  • Muchas Gracias!, funcionó con requests, es la única web de las que probé hasta ahora que no funciona jaja, un saludo. Commented el 4 mar. 2019 a las 20:42

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.