El contenido se carga dinámicamente desde XMLHttpRequest .

La consulta (xhr):

Cambiar mes
2018070120180731
por año
2018010120181231
Generar todas las fechas (sin datos antes de 1972)
date_ranges = [str(year) + '0101' + str(year) + '1231' for year in range(2019, 1971,-1)]
La API requiere una clave encontrada en un archivo javascript.
r = s.get('https://www.wunderground.com/bundle-universal/index.d10d5f637f8cba449c4f.js')
api_key = p.findall(r.text)[0]
Haga una solicitud web para todos los años y combine resultados
py
import requests, re
import pandas as pd
p = re.compile(r'n\.key="(.*?)"')
date_ranges = [str(year) + '0101' + str(year) + '1231' for year in range(2019, 1971,-1)]
results = {}
with requests.Session() as s:
r = s.get('https://www.wunderground.com/bundle-universal/index.d10d5f637f8cba449c4f.js')
api_key = p.findall(r.text)[0]
start_year = date_ranges[0]
for year in date_ranges:
r = s.get(f'https://api-ak.wunderground.com/api/{api_key}/history_{year}/lang:EN/units:english/bestfct:1/v:2.0/q/MMMX.json?showObs=0&ttl=120').json()
data = r['history']['days']
if start_year == year:
columns = list(data[0]['summary'].keys())
if data:
for day in data:
row = {column:day['summary'][column] if column !='date' else day['summary']['date']['iso8601'][:10] for column in columns}
results[row['date']] = row
else:
row = {column:None for column in columns}
results[year] = row
df = pd.DataFrame(results)
df = df.T
df = df[columns]
df.reset_index(drop=True, inplace = True)
df.to_csv(r'C:\Users\User\Desktop\Data.csv', sep=',', encoding='utf-8-sig',index = False )
#df.to_csv(r'C:\Users\User\Desktop\Data.csv', sep=';', encoding='utf-8-sig',index = False )

selenium
desde python para "teledirigir" un navegador real, que sea quien cargue la página, y ejecute todo. Y después desde python acceder al HTML ya modificado por el navegador.