0

he probado de todas las maneras posibles a obtener una respuesta de la siguiente url: https://www.wildfooduk.com/mushroom-guide/?mushroom_type=edible

import requests
  
headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36',
  'Accept-Language': 'es-ES,es;q=0.9',
  'Accept-Encoding': 'gzip, deflate, br',
  'Cache-Control': 'max-age=0',
  'Referer': 'https://google.com/',
  'DNT': '1',
}

proxies = {
  "http": None,
  "https": None,
}

url = 'https://www.wildfooduk.com/mushroom-guide/?mushroom_type=edible'
r = requests.get(url, headers = headers, proxies = proxies)

r

Además de esto, también he probado haciendo login con una sesión, con el mismo resultado.

Necesito hacer un pequeño código de Web Scraping con BeautifulSoup en Python para obtener todas las imágenes de setas de dicha web, y me encuentro con el problema de que la misma utiliza Cloudfare y todas mis solicitudes son rechazadas con un <Response [503]>.

¿Qué puedo hacer?

Muchísimas gracias por vuestro tiempo!

1 respuesta 1

0

Parece que hace falta un par de campos en el header. La respuesta que recibes es como si el servidor estuviera en mantenimiento o apagado, pero también podría ser que te han identificado por hacer muchas solicitudes y el servidor en vez de denegar la solicitud, te envía esa respuesta

De todas formas, complete el header y añadí un proxy gratuito, para ver si así te funciona

import requests

url = "https://www.wildfooduk.com/mushroom-guide/?mushroom_type=edible"

headers = {
  'Upgrade-Insecure-Requests': '1',
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36',
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
  'Sec-GPC': '1',
  'Sec-Fetch-Site': 'cross-site',
  'Sec-Fetch-Mode': 'navigate',
  'Sec-Fetch-User': '?1',
  'Sec-Fetch-Dest': 'document',
}
proxies = {
'http': 'http://47.89.229.238:8080'
}
response = requests.get(url, headers=headers,proxies=proxies)

print(response.text)

introducir la descripción de la imagen aquí

9
  • ¡Muchísimas gracias! Desafortunadamente, creo que me han identificado al haber realizado varias solicitudes y aún utilizando tus headers y el proxy que indicas, sigo obteniendo un status_code : 503
    – DonIñigo
    Commented el 5 ene. 2022 a las 17:10
  • @DonIñigo Estoy sospechando que debe ser algo de tu red y no un bloqueo del servidor como tal. Haciendo pruebas con un VPN he realizado más de 410 solicitudes satisfactorias al mismo enlace, en intervalo de 1.5 segundos y aun no recibo la respuesta 503 ¿Sabes si estas navegando sobre una red controlada? ¿puedes hacer solicitudes a otras páginas?
    – CalumRakk
    Commented el 5 ene. 2022 a las 17:52
  • para el mismo proyecto, estoy obteniendo imágenes de distintas páginas y no he tenido problema con ellas; por ejemplo <mushroom.world/mushrooms/edible>
    – DonIñigo
    Commented el 5 ene. 2022 a las 18:14
  • ¿@CalumRakk se te ocurre qué puede ser? Me sería de gran ayuda, gracias por adelantado!
    – DonIñigo
    Commented el 8 ene. 2022 a las 18:37
  • @DonIñigo Tengo curiosidad del por qué esa respuesta 503. Una cosa que podríamos hacer es una llamada por Discord e intentar buscarle una solución más directa desde ahí
    – CalumRakk
    Commented el 8 ene. 2022 a las 22:25

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.