1

Estoy tratando de copiar el valor generado diariamente por una página financiera utilizando este código:

from lxml import html
import requests
url = 'http://www.set-fx.com'
page = requests.get(url,headers={"User-Agent":"Mozilla/5.0"})
tree = html.fromstring(page.content)
print(tree.xpath('//*[@id="trmPrice"]')[0].get('content'))

El cual sigue las recomendaciones dadas en este sitio. Pero el resultado que obtengo es None. ¿Qué puede estar faltándole al código?

1 respuesta 1

0

No es lo mismo lo que ves en el navegador web mediante el menú "inspeccionar página", que lo que recibe el navegador al hacer la petición HTTP, y que puedes ver si eliges en el navegador "ver código fuente de la página".

Esta segunda opción es la que te da el HTML que el servidor envió al navegador, y que coincide con la que puedes obtener con python y con el módulo requests. Y si miras en ese HTML buscando la cadena "trmPrice", verás que aparece en un span como este:

<span id="trmPrice"  style="padding-right: 2px"></span>

El cual como puede verse está vacío.

¿Cómo aparece en él la información que buscas? Pues debido a que esa misma página contiene un código JavaScript que rellena ese span con los datos que ha obtenido de una petición ajax. Más adelante en el mismo HTML encontramos:

update = function() {
    new Ajax.Request("http://www.set-fx.com/stats?" + new Date().format('isoTime') ,
      {
        method:'get',
        onSuccess: function(transport){

          var response = transport.responseText;

          var data = response.evalJSON();

        //var data = transport.headerJSON;

          $('trmPrice').innerHTML = '<span>' + (data.trm==undefined?'':data.trm) + '</span>';

...etc...

Lo que ves en el navegador cuando haces "inspeccionar elemento" es el resultado de haber ejecutado el JavaScript de la página. De hecho, esta vista es cambiante pues siempre se está ejecutando javascript en respuesta a otros eventos, que pueden seguir modificando el documento.

Hacer scraping de una página así es difícil. No puede hacerse sólo con Python, sino que es necesario un navegador web real y completo, que reciba la página y ejecute lo necesario. Gracias a Selenium puedes usar python como "control remoto" para un navegador, simulando acciones del usuario y pudiendo acceder a datos del documento ya procesado.

Por suerte en este caso la cosa es mucho más simple, ya que podemos ver en la función javascript que antes he mostrado, que la llamada ajax se hace a la URL http://www.set-fx.com/stats pasándole en la query la fecha deseada. Es más, si no le pasas fecha también funciona.

El resultado de esa llamada AJAX es un JSON que contiene ya la información que necesitas, sin necesidad de usar Xpath u otras técnicas de scraping:

import requests

r = requests.get("http://www.set-fx.com/stats")
data = r.json()

El resultado data es un diccionario python con esta pinta:

{'avgAmmount': '665.639,00',
 'avgPrice': '3.284,49',
 'avgPriceChange': 'up',
 'closePrice': '3.287,45',
 'exchangeBuyPrice': '0,00',
 'exchangeSellPrice': '0,00',
 'formattedAvgPrice': '3,284.49',
 'formattedPrice': '3,287.45',
 'latestAmmount': '250.000,00',
 'maxAmmount': '10.000.000,00',
 'maxPrice': '3.291,00',
 'maxPriceChange': 'down',
 'minAmmount': '50.000,00',
 'minPrice': '3.279,10',
 'minPriceChange': 'up',
 'openPrice': '3.290,00',
 'openPriceChange': 'down',
 'price': 3287.45,
 'priceChange': 'up',
 'streetBuyPrice': '0,00',
 'streetSellPrice': '0,00',
 'totalAmmount': '64.567.000,00',
 'transactions': 97,
 'trm': '3.285,34',
 'trmPriceChange': 'up'}

En el campo data["trm"] tienes la información que buscabas.

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.