0

Hola quiero raspar una tabla o los datos de una página web desde 1930 hasta 2019 para una estación mmmx de manera mensual, pero no paso de la siguiente línea de código:


    import requests, re
    from bs4 import BeautifulSoup
    import pandas as pd

    page = requests.get("https://www.wunderground.com/history/monthly/mx/mexico- 
                        city")
    soup = BeautifulSoup(page.content, 'html.parser')
    seven_day = soup.find("div",{"class":"small-12 columns"})
    table = seven_day.find_all("table",{"class":"days"})
    tonight = table[0]
    CountingSort(tonight)
    print(tonight.prettify())

y me sale el siguiente error: IndexError: list index out of range la variable tabla al imprimirla me sale vacia.

4
  • Me temo que se trata de una página dinámica. Es decir, la tabla que pretendes raspar no viene en la respuesta html, sino que se solicita posteriormente desde el navegador ejecutando código javascript que hace llamadas asíncronas (AJAX) para obtener la información y montar la tabla manipulando el documento "en memoria" en el propio navegador
    – abulafia
    el 23 may. 2019 a las 19:11
  • abulafia, tendría o se podría con javascript? y me imagino que si se puede sería un trabajo difícil o con un buen nivel de programación. el 23 may. 2019 a las 19:18
  • Tienes dos alternativas: usando las herramientas del navegador y el inspector de red, tratar de descubrir qué peticiones hace esa página una vez cargada, para descubrir a qué URL pide los datos de la tabla, y usar esa URL desde python. Pero esta página es horrible, carga miles de cosas continuamente debido a la publicidad. Veo muy difícil dar con ello. La otra opción es usar selenium desde python para "teledirigir" un navegador real, que sea quien cargue la página, y ejecute todo. Y después desde python acceder al HTML ya modificado por el navegador.
    – abulafia
    el 23 may. 2019 a las 19:22
  • Gracias abulafia, voy a ver con selenium y ya preguntare mis dudas. el 23 may. 2019 a las 19:40

1 respuesta 1

1

El contenido se carga dinámicamente desde XMLHttpRequest .

La consulta (xhr):

Cambiar mes

2018070120180731

por año

2018010120181231

Generar todas las fechas (sin datos antes de 1972)

date_ranges = [str(year) + '0101' + str(year) + '1231' for year in range(2019, 1971,-1)]

La API requiere una clave encontrada en un archivo javascript.

r = s.get('https://www.wunderground.com/bundle-universal/index.d10d5f637f8cba449c4f.js')
api_key = p.findall(r.text)[0]

Haga una solicitud web para todos los años y combine resultados


py

import requests, re
import pandas as pd

p = re.compile(r'n\.key="(.*?)"')
date_ranges = [str(year) + '0101' + str(year) + '1231' for year in range(2019, 1971,-1)]
results = {}

with requests.Session() as s:
    r = s.get('https://www.wunderground.com/bundle-universal/index.d10d5f637f8cba449c4f.js')
    api_key = p.findall(r.text)[0]
    start_year = date_ranges[0]

    for year in date_ranges:
        r = s.get(f'https://api-ak.wunderground.com/api/{api_key}/history_{year}/lang:EN/units:english/bestfct:1/v:2.0/q/MMMX.json?showObs=0&ttl=120').json()
        data = r['history']['days']
        if start_year == year:
            columns = list(data[0]['summary'].keys())
        if data:
            for day in data:
                row = {column:day['summary'][column] if column !='date' else day['summary']['date']['iso8601'][:10] for column in columns}
                results[row['date']] = row
        else:
            row = {column:None for column in columns}
            results[year] = row

df = pd.DataFrame(results)
df = df.T
df = df[columns]
df.reset_index(drop=True, inplace = True)
df.to_csv(r'C:\Users\User\Desktop\Data.csv', sep=',', encoding='utf-8-sig',index = False )
#df.to_csv(r'C:\Users\User\Desktop\Data.csv', sep=';', encoding='utf-8-sig',index = False )

introducir la descripción de la imagen aquí

17
  • Estimado QHarr, por mucho eres la mejor respuesta a mi pregunta, pregunte a varias personas y unos de plano me dijeron que no se podía, estoy analizando todo lo que me pusiste para entenderlo., al correr el py me da el siguiente error: ValueError: Mixing dicts with non-Series may lead to ambiguous ordering. el 26 ago. 2019 a las 17:21
  • prueba la edición
    – user94017
    el 26 ago. 2019 a las 17:40
  • Listo QHarr!: tenia problemas con la versión de python, pero ya quedo, una ultima pregunta. ¿que herramienta es la de la primera imagen?. el 27 ago. 2019 a las 17:12
  • 1
    Hola QHarr,el código me hicste funciono muy bien, ahora intento correrlo y me sale el siguiente error: IndexError: list index out of range el 17 dic. 2019 a las 18:37
  • 1
    QHarr, como no sí me has ayudado mucho!! el 19 dic. 2019 a las 14:38

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.