0

estoy intentando realizar un scraper con python utilizando requests y beautifulsoup.

    url= "https://www.espanol.skyscanner.com/transporte/vuelos-desde/buea/?adults=1&children=0&adultsv2=1&childrenv2=&infants=0&cabinclass=economy&rtn=0&preferdirects=false&outboundaltsenabled=false&inboundaltsenabled=false&ref=home"
response = requests.get(url)
src=response.content
soup=BeautifulSoup(src,"lxml")
precios=soup.find_all("span", class_="from")

y nose por que no tengo contenido en mi variable "precios" . Mi idea es poder asignar dos variables "pais" "precio" para luego ponerle una condición. Muchas gracias. También si saben como rotar la vpn seria de gran ayuda

1 respuesta 1

1

lo que sucede es que el contenido es traido por ajax.
puedes hacerlo haciendo una consulta directo al url que trae por ajax que esta en formato json:

import requests
from bs4 import BeautifulSoup

#url= "https://www.espanol.skyscanner.com/transporte/vuelos-desde/buea/?adults=1&children=0&adultsv2=1&childrenv2=&infants=0&cabinclass=economy&rtn=0&preferdirects=false&outboundaltsenabled=false&inboundaltsenabled=false&ref=home"

## json url ##
url= "https://www.espanol.skyscanner.com/g/browseservice/dataservices/browse/v3/bvweb/PA/PAB/es-MX/destinations/BUEA/anywhere/anytime/?profile=minimalcityrollupwithnamesv2&include=image;holiday&apikey=8aa374f4e28e4664bf268f850f767535" 
# headers 
headers = {
    "referer": "https://www.espanol.skyscanner.com/transporte/vuelos-desde/buea/?adults=1&children=0&adultsv2=1&childrenv2=&infants=0&cabinclass=economy&rtn=0&preferdirects=false&outboundaltsenabled=false&inboundaltsenabled=false&ref=home",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36",
    "x-requested-with": "XMLHttpRequest"
}
# hacemos el requests get
response = requests.get(url,headers=headers)
# pasamos a json
data = response.json()

# hacemos un loop
for pais in data["PlacePrices"]:
    # validamos que exista DirectPrice
    dprice = pais.get("DirectPrice")
    # validamos que exista IndirectPrice
    iprice = pais.get('IndirectPrice')

    # si existe IndirectPrice y DirectPrice
    if dprice != None and iprice != None:
        print(f"{pais['Id']}  {dprice} {iprice}  {pais['Name']} ")
    # solo existe DirectPrice
    elif dprice == None:
        print(f"{pais['Id']}  {iprice:<10}  {pais['Name']} ")
    # solo existe IndirectPrice
    else:
        print(f"{pais['Id']}  {dprice:<10}  {pais['Name']} ")
5
  • sos un genio @Bryro !!! muchisimass gracias, de verdad me ayudaste mucho. Te hago una sola pregunta mas, sabrías como realizar un scraping pero rotando la vpn proxy? o tal vez realizarlo con tor , nose estoy medio perdido en eso Commented el 23 abr. 2019 a las 1:06
  • @EmanuelLemos si te sirvio deverias confirmar la respuesta dandole a la gancho de aceptacion!
    – Bryro
    Commented el 23 abr. 2019 a las 14:15
  • genial , ahi creo que lo hice. Perdon soy medio "nuevo" en el foro . esta bien ahi no ? me re sirvio muchas gracias Commented el 23 abr. 2019 a las 14:18
  • si, es para que no te quede abierta la pregunta. y puedas realizar otra mas adelante!
    – Bryro
    Commented el 23 abr. 2019 a las 14:19
  • como estas? me podrias ayudar con el cambio de proxies?? intento hacerlo con el mismo link de pagina web... pero cuando hago un get(url, proxies= proxies (aca le intento agregar una lista que me bajo de otra web) , timeour=5) y no me lo toma , me podrias ayudar por favor Commented el 7 may. 2019 a las 17:28

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.