0

Estoy tratando de obtener uno datos de la pagina Wunderground "https://www.wunderground.com/dashboard/pws/KNYNEWYO1614/table/2023-04-30/2023-04-30/daily" Pero cuando leo el HTML mis tablas salen vacias con solo los encabezados. So estoy tratando de leer los datos usando un endpoint API ahora mi problema surge cuando trato de anadir fecha al endpoint. Aqui podemos ver que el endpoint funciona para sacar datos del dia actual pero cuando anado las fechas me da un error.

endpoint = "https://api.weather.com/v2/pws/observations/current?apiKey=e1f10a1e78da46f5b10a1e78da96f525&stationId=KNYNEWYO1585&numericPrecision=decimal&format=json&units=e" 

response = requests.get(endpoint).json()
print(response)

Aqui esta el ejemplo anadiendo fechas.

from datetime import datetime
import requests
from tabulate import tabulate

apiKey = "e1f10a1e78da46f5b10a1e78da96f525"
station_id = "KNYNEWYO1585"
start_date = "2023-04-30"
end_date = "2023-04-30"

endpoint = f"https://api.weather.com/v2/pws/observations/historical.json?apiKey={apiKey}&stationId={station_id}&format=json&units=e&date={start_date}&endDate={end_date}"

response = requests.get(endpoint).json()["observations"]
weather_data = sorted(response, key=lambda k: k["epoch"])

header = [
    "Time", "Temperature", "Dew Point", "Humidity", "Wind",
    "Wind Speed", "Wind Gust", "Pressure", "Precip.", "Conditions",
]

table = []
for item in weather_data:
    row = [
        datetime.fromtimestamp(item["epoch"]).strftime('%I:%M %p'),
        item["temp"],
        f'{item["dewpt"]} °F',
        f'{item["humidity"]} %',
        item["winddir"],
        item["wspd"],
        f'{item["wgust"] if "wgust" in item else 0} mph',
        f'{item["pressure"]} in',
        f'{item["precip_total"] if "precip_total" in item else "0.0 in"}',
        item["wx_phrase"],
    ]
    table.append(row)

print(tabulate(table, headers=header, tablefmt="pretty"))

Este es el error que me da

JSONDecodeError                           Traceback (most recent call last)
<ipython-input-10-873917b622c8> in <module>
     10 endpoint = f"https://api.weather.com/v2/pws/observations/historical.json?apiKey={apiKey}&stationId={station_id}&format=json&units=e&date={start_date}&endDate={end_date}"
     11 
---> 12 response = requests.get(endpoint).json()["observations"]
     13 weather_data = sorted(response, key=lambda k: k["epoch"])

1 respuesta 1

1

Te vengo a proponer una solución utilizando pandas y BeautifulSoup.

Para empezar, utilicé la url https://www.wunderground.com/dashboard/pws/KNYNEWYO1614/table/2023-04-30/2023-04-30/daily

Bueno, la estrategia es bastante sencilla, parsear el contenido con BeautifulSoup a html. De esta manera podemos acceder a los elementos con el método .find(). Hacemos la búsqueda por el nombre de la class. Una vez que obtenemos el elemento deseado, lo trabajamos para encontrar el nombre de las columnas, es decir, el encabezado de la tabla. y las filas correspondientes. Luego de obtener los datos de la tabla, solo resta armar un DataFrame con la información extraída.

import pandas as pd
from bs4 import BeautifulSoup


endpoint= "https://www.wunderground.com/dashboard/pws/KNYNEWYO1614/table/2023-04-30/2023-04-30/daily"
response = requests.get(endpoint)

soup = BeautifulSoup(response.text,"html.parser")
tabla = soup.find('table', class_='history-table desktop-table')

# Encuentra los nombres de las columnas
encabezados = tabla.find('tr').find_all('th')
nombres_columnas = [encabezado.get_text(strip=True) for encabezado in encabezados]

# Encuentra todas las filas de la tabla
filas = tabla.find_all('tr')

# Crea una lista vacía para almacenar los datos
datos = []

# Itera sobre las filas de la tabla, extrae los datos de cada celda y los agrega a la lista de datos
for fila in filas:
    celdas = fila.find_all('td')
    if celdas:
        fila_datos = [celda.get_text(strip=True) for celda in celdas]
        datos.append(fila_datos)

# Crea el DataFrame utilizando la lista de datos y los nombres de las columnas
df = pd.DataFrame(data=datos, columns=nombres_columnas)

el contenido del df:

Time Temperature Dew Point Humidity Wind Speed Gust Pressure Precip. Rate. Precip. Accum. UV Solar
12:04 AM 50.4°F 50.0°F 99°% ESE 0.9°mph 2.9°mph 29.79°in 0.00°in 0.00°in 0 0w/m²
12:09 AM 50.4°F 50.0°F 99°% North 0.0°mph 0.4°mph 29.79°in 0.00°in 0.00°in 0 0w/m²
12:14 AM 50.4°F 50.0°F 99°% South 0.2°mph 1.6°mph 29.79°in 0.00°in 0.00°in 0 0w/m²
1
  • Perfecto! Muchas gracias Commented el 9 jun. 2023 a las 14:07

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.