1

Estoy investigando la forma de extraer datos de esta página web (Información actualizada de precios). Esto genera un fichero .xls. Mi idea es automatizar esta extracción de ficheros por ejemplo con alguna librería de phyton. He visto otras herramientas pero me gustaría hacerlo en código.

introducir la descripción de la imagen aquí

http://geoportalgasolineras.es/#/Descargas

Un saludo

1
  • te recomiendo buscar librerias de scrapping para python como selenium
    – user22539
    Commented el 3 ago. 2018 a las 10:30

1 respuesta 1

1

El método general puede ser muy complejo, dependiendo de con qué tecnología está hecha la página web cuyos datos quieres obtener, de si es necesario antes iniciar sesión en la misma, y de si los autores han decidido ponértelo difícil.

En este caso concreto no es muy complicado, aunque podría haber sido aún más simple.

Debes comenzar por averiguar la URL desde la cual realmente se está bajando la hoja excel. Para ello las herramientas para desarrolladores que hoy día incluyen la mayoría de los navegadores web son una ayuda indispensable. Usando esas herramientas podemos ver el código del botón "Descargar" y ver que es parte de un formulario HTML, pero dicho formulario no hace visible la URL de descarga, porque utiliza javascript para conectar con el servidor, invocando una función llamada downloadFile().

Podríamos seguir buceando por el código de la página a ver qué hace esa función, y en algunos casos más complejos sería necesario hacerlo, pero en este caso podemos optar por otra vía.

En el panel de herramientas para el desarrollador hay uno llamado "Red", que permite observar el tráfico de peticiones HTTP que está teniendo lugar. Con esa pestaña a la vista, pulsamos el botón descargar y vemos que se produce una petición GET a la URL http://geoportalgasolineras.es/downloadReportPrecios?tipoEstacion=EESS&productoId=1.

Esto es lo que necesitábamos. No necesitas programar nada con python, puedes usar una herramienta de línea de comandos como wget o curl para bajar ese archivo directamente. Por ejemplo:

curl "http://geoportalgasolineras.es/downloadReportPrecios?tipoEstacion=EESS&productoId=1" > precios.xls

Si insistes en hacerlo en python, usando la biblioteca requests la cosa es sencilla:

import requests

def download_file(url, nombre_local):
    r = requests.get(url)
    if r.status_code != 200:
        print("Error {}: {}".format(r.status_code, r.reason))
        return
    with open(nombre_local, 'wb') as f:
        f.write(r.content)


download_file('http://geoportalgasolineras.es/downloadReportPrecios?tipoEstacion=EESS&productoId=1',
              'precios.xls')

El fichero es grande (2.2Mb) y tarda un rato en bajar. Durante ese tiempo parece que el programa no está haciendo nada. Por eso pensé en transferirlo en modo stream, en el que en lugar de recibir el fichero completo, lo vamos recibiendo por trocitos (y así podemos imprimir algo entre trocito y trocito para ver la velocidad a que lo descarga). El código para esta segunda implementación sería así:

import requests

def download_file(url, nombre_local):
    r = requests.get(url, stream=True)
    with open(nombre_local, 'wb') as f:
        for chunk in r.iter_content(chunk_size=1024): 
            if chunk: # Los chunks vacíos se saltan
                print(".", end="", flush=True)
                f.write(chunk)
download_file('http://geoportalgasolineras.es/downloadReportPrecios?tipoEstacion=EESS&productoId=1',
              'precios.xls')

Por desgracia para que funcione correctamente el servidor debería soportar el envío de la información por trozos, y parece que no es el caso puesto que si ejecutas lo anterior verás que durante un buen rato no ocurre aparentemente nada, y luego empieza a imprimir los puntitos a toda velocidad (entiendo que requests se ha descargado el archivo completo y luego nos lo va dando por trocitos en el bucle).

Aclaración final Este método no garantiza que mañana pueda dejar de funcionar si los autores de la página deciden cambiar la URL de la que se descargan los datos, o solicitar algún tipo de cookie al cliente. En general, si la página a analizar se va complicando puede resultar mucho mejor enfoque el manejar un navegador real desde un script, para que simule las acciones del usuario como "pulsar botón", etc. Esto es en general más complicado de configurar. Mírate proyectos como selenium o requests-html

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.