5

puntulamente necesito extraer los textos procedentes del cuadro "live spread", bid, ask, de la siguiente pagina:

https://www.icmarkets.com/blog/category/company-news/

El primer intento fue con BeautifulSoup

from bs4 import BeautifulSoup

import requests

url='https://www.icmarkets.com/blog/category/company-news/'

user= 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'

headers={}

headers[ 'User-Agent' ]=user

page=requests.get(url,headers=headers)

soup=BeautifulSoup(page.text, 'html.parser' )

fx=soup.find_all('div', class_='bid')

forex=[]

for i in fx:

   forex.append(i)

print(forex)

El segundo intento fue con la libreria lxml

import requests

from lxml import html

import lxml.html

url='https://www.icmarkets.com/blog/category/company-news/'

user= 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'

headers={}

headers[ 'User-Agent' ]=user

page=requests.get(url,headers=headers)

doc=lxml.html.fromstring(page.text)

prices=doc.xpath('//*[@class="bid"]')

for item in prices:

   print(item)

Con cualquiera de los 2 procedimientos me arroja resultados nulos En el segundo ejemplo, si en lugar de utilizar

prices=doc.xpath('//*[@class="bid"]')

utilizamos

prices=doc.xpath('//div')

nos entrega resultados q no contienen los textos solicitados

Agradezco su tiempo,saludos!

2 respuestas 2

5

Y el tercer intento fue con Selenium

El problema es que el div que intentas localizar no forma parte del código fuente HTML de la página (que es lo que te descargas y sobre lo que intentas el scraping). Ese div se crea como parte de la ejecución de un javascript, que trae en tiempo real valores de un servicio web y actualiza el DOM (el HTML para entendernos) creando ese div y cambiando su contenido.

Ya que Python no puede ejecutar el javascript, la única solución para hacer scraping de este tipo de páginas es utilizar algo como Selenium, que es una especie de "control remoto" sobre un navegador real. Usando selenium, bajo el control de Python, puedes abrir un navegador real (ej: Firefox), hacer que vaya a esa web, esperar a que cargue y ejecute el javascript para que los div aparezcan, y pedirle al navegador que te busque en el DOM ya modificado (puedes usar xpath para esto, y otras muchas formas). Incluso puedes hacer, bajo las órdenes de python, que Firefox "haga clic" en cualquier elemento de la página, o "teclee cosas" en cajas de texto, emulando las acciones de un usuario.

Para que selenium funcione necesitas instalar un driver apropiado al navegador que vayas a "teledirigir", y a tu operativo. Por ejemplo, el siguiente código intenta extraer la información que dices:

from selenium import webdriver

browser = webdriver.Firefox(executable_path='C:/Users/abulafia/geckodriver')
browser.get("https://www.icmarkets.com/blog/category/company-news/")

browser.implicitly_wait(10) # Espera implicita cuando intentas localizar un elemento y no está
                            # Se reintentará por si el javascript aún no lo creó
                            # hasta un máximo de 10 segundos de espera

lista = browser.find_elements_by_class_name("bid")
for elem in lista:
    print(elem.text)

Digo que este script intenta obtener la información, porque en realidad me ha fallado muchas veces, por diferentes razones:

  • Porque carga la página, pero no aparece nada bajo "Forex". A veces en ese lateral muestra los números que quieres capturar, pero otras veces aparece vacía. En ese caso la lista del código anterior también está vacía.
  • Porque los números que intentas capturar están variando en tiempo real, y si da la casualidad que, desde el instante en que sacas la lista de elementos, hasta el instante que vas a imprimir uno de ellos, su valor ha cambiado, se producirá una excepción (pues el elemento originalmente guardado en la lista ya no existe en el navegador).

Si tienes suerte y no se producen esos casos, en la salida estándar podrás ver algo como:

1.09112
0.6749
1.23016
108.091
1.32434
132.969

que es lo que me ha salido a mi alguna de las veces que lo he ejecutado.

1
  • Muchas Gracias!!! me fue de mucha ayuda tu explicación, soy nuevo en el mundo de python.-
    – bot fredy
    Commented el 4 oct. 2019 a las 12:50
0

Modificando lo aportado por @abulafia , a fines didacticos, y faltando mucho para lograr un resultado final, pude escribir estas lineas de código que funcionan siempre ( a fuerza bruta!).- Básicamente es lo mismo, pero le puse 2 bucles, uno que reinicia la pagina hasta que se cargue de manera adecuada, y el otro q queda loopeado mostrando los valoes, cuando se cumple la primera condición.-

 from selenium import webdriver

iniciar=True
while iniciar==True:
    browser = webdriver.Chrome(executable_path='D:\python_files\selenium/chromedriver')
    browser.get("https://www.icmarkets.com/blog/category/company-news/")
    browser.implicitly_wait(30) # Espera implicita cuando intentas localizar un elemento y no está
                                # Se reintentará por si el javascript aún no lo creó
                                # hasta un máximo de 10 segundos de espera
    lista = browser.find_elements_by_class_name("bid")
    if len(lista)==0:
        browser.close()
    else:
        iniciar=False

reload=True
while reload==True:
    try:
        browser.implicitly_wait(10) # Espera implicita cuando intentas localizar un elemento y no está
                                    # Se reintentará por si el javascript aún no lo creó
                                    # hasta un máximo de 10 segundos de espera
        lista = browser.find_elements_by_class_name("bid")
        #lista=driver.find_element_by_
        for elem in lista:
            print(elem.text)
        #reload=False
    except:
        None

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.