0

Esta es la pagina que quiero scrapear. Quiero obtener los datos de la tabla "operaciones del dia". Al cargar la pagina, ejecuta un script que llama a esta otra pagina que trae los datos JSON. No sé cómo interceptar esos datos, intenté con requests pero no lo consigo, soy principiante.

1

1 respuesta 1

2

En scraping no hay un ninguna guía para obtener la información que necesitas. Tienes que investigar hasta dar con ella.

Y para eso hay que perder tiempo analizando el código html que devuelve el servidor y monitorizar la ejecución del javascript mediante las herramientas DevTools que tienen firefox o chrome.

Ya que sabes que ejecuta código ajax y sabes la URL que usa, lo primero es poner un punto de ruptura para que se detenga cuando intenta hacer la llamada. Yo uso firefox, entrando en las devtools, en el depurador, activo la opción XHR y añado la URL:

activación de la opción XHR

Al recargar la página, se para justo en la llamada a la URL. Con un poco de manejo, puedes poner el código en bonito y localizar el punto de llamada:

código formateado

Obteniendo los parámetros:

"{\"objEstadoIntradiarioEspecie\":{\"FiltroEspecie\":\"GFGC108.AB\",\"FiltroVto\":\"0\",\"MensajeNro\":0}}"

Que en json corresponde a:

{ "objEstadoIntradiarioEspecie":
 { "FiltroEspecie": "GFGC108.AB",
   "FiltroVto": "0",
   "MensajeNro": 0 }
}

Lo siguiente recomendable es usar alguna herramienta para hacer peticiones REST. Para firefox uso RESTer, donde construyo la petición y la ejecuto para ver que funciona:

uso de RESTer

Y ya, por fin, intentamos codificar el scrap con python:

import json
import requests

url = 'https://www.bolsar.com/VistasDL/PaginaIntradiarioEspecies.aspx/GetDataPack'
headers = {'content-type': 'application/json'}
payload = { "objEstadoIntradiarioEspecie":
 { "FiltroEspecie": "GFGC108.AB",
   "FiltroVto": "0",
   "MensajeNro": 0 }
}

r = requests.post(url, data=json.dumps(payload), headers=headers)

print(r.json())

Resultado:

{'d': [{'TablaNombre': 'IntradiarioEspecies', 'MRC': 60000, 'CantidadTotalFilas': 10, 'aTabla': [{'MensajeNro': 38190, 'HoraCotizacion': 114918, 'dtHoraCotizacion': '/Date(1586616558000)/', 'Simbolo': 'GFGC108.AB', 'Vencimiento': 0, 'Mercad ... 
1
  • Fantástico!!!! Muchas gracias!! Iba por ese camino pero viendo lo sintético de tu código, la verdad es que me la he complicado solo por demás!!! Gracias de nuevo GENIO
    – PyMas
    Commented el 11 abr. 2020 a las 23:48

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.