Esta es la pagina que quiero scrapear. Quiero obtener los datos de la tabla "operaciones del dia". Al cargar la pagina, ejecuta un script que llama a esta otra pagina que trae los datos JSON. No sé cómo interceptar esos datos, intenté con requests pero no lo consigo, soy principiante.
-
3Existen librerías de Python para llevar a cabo esa tarea. Algunas de ellas de ejemplo podrían ser: Scrapy (scrapy.org) o Selenium (selenium-python.readthedocs.io). Yo utilicé Selenium en una práctica del Master de la Universidad para scrapear una web y me fue genial. Si quieres echarle un vistazo, quizás te ayude: github.com/AlejandroSuau/TDLC_Practice1– GrommyCommented el 11 abr. 2020 a las 21:02
1 respuesta
En scraping no hay un ninguna guía para obtener la información que necesitas. Tienes que investigar hasta dar con ella.
Y para eso hay que perder tiempo analizando el código html que devuelve el servidor y monitorizar la ejecución del javascript mediante las herramientas DevTools que tienen firefox o chrome.
Ya que sabes que ejecuta código ajax y sabes la URL que usa, lo primero es poner un punto de ruptura para que se detenga cuando intenta hacer la llamada. Yo uso firefox, entrando en las devtools, en el depurador, activo la opción XHR y añado la URL:
Al recargar la página, se para justo en la llamada a la URL. Con un poco de manejo, puedes poner el código en bonito y localizar el punto de llamada:
Obteniendo los parámetros:
"{\"objEstadoIntradiarioEspecie\":{\"FiltroEspecie\":\"GFGC108.AB\",\"FiltroVto\":\"0\",\"MensajeNro\":0}}"
Que en json corresponde a:
{ "objEstadoIntradiarioEspecie":
{ "FiltroEspecie": "GFGC108.AB",
"FiltroVto": "0",
"MensajeNro": 0 }
}
Lo siguiente recomendable es usar alguna herramienta para hacer peticiones REST. Para firefox uso RESTer, donde construyo la petición y la ejecuto para ver que funciona:
Y ya, por fin, intentamos codificar el scrap con python:
import json
import requests
url = 'https://www.bolsar.com/VistasDL/PaginaIntradiarioEspecies.aspx/GetDataPack'
headers = {'content-type': 'application/json'}
payload = { "objEstadoIntradiarioEspecie":
{ "FiltroEspecie": "GFGC108.AB",
"FiltroVto": "0",
"MensajeNro": 0 }
}
r = requests.post(url, data=json.dumps(payload), headers=headers)
print(r.json())
Resultado:
{'d': [{'TablaNombre': 'IntradiarioEspecies', 'MRC': 60000, 'CantidadTotalFilas': 10, 'aTabla': [{'MensajeNro': 38190, 'HoraCotizacion': 114918, 'dtHoraCotizacion': '/Date(1586616558000)/', 'Simbolo': 'GFGC108.AB', 'Vencimiento': 0, 'Mercad ...
-
Fantástico!!!! Muchas gracias!! Iba por ese camino pero viendo lo sintético de tu código, la verdad es que me la he complicado solo por demás!!! Gracias de nuevo GENIO– PyMasCommented el 11 abr. 2020 a las 23:48