2

estoy intentando entender el código de la página https://foresignal.com/es/ y al momento de extraer los datos del HTML, hay datos que no me aparecen en el HTML pero cuando uso el navegador si, al parecer usa un tipo de script para evitar el Scraping Directo, y al momento de ver el codigo es una script que llama a una funcion en Js desde el HTML.

Esto es lo que veo en la Web

Datos de la Web

HMTL en la Web

Inspeciconar Elemento

Al hacer el Scraping en Python:

import requests
from bs4 import BeautifulSoup

client = requests.Session()

html = client.get('https://foresignal.com/es/login').content
soup = BeautifulSoup(html, 'html.parser')

#print(soup.find().text)

login_information = {
    'user_name' : '##############@gmail.com',
    'user_password' : '######',
}

client.post('https://foresignal.com/es/login/login', data = login_information)
html = client.get('https://foresignal.com/es/signals/one/usdcad/2022/11/21/1341?utm_campaign=notification&utm_medium=telegram').content
soup = BeautifulSoup(html, 'html.parser')
print(soup.find().text)

Pueden usar mi login para probar

Al momento de ejecutar el codigo


 Mi Cuenta
 Premium
 Desconectar

Señal Forex de USD/CAD @ lun 21 nov 2022 13:41:00

USD/CAD

señal de USD/CAD

Desde UTC
Hasta UTC

Compra
Compre por
Take profit*
Stop Loss

No aparecen los Datos que quisiera, pareciera que esos datos se envían por JSON

Al momento de estudiar el HTML desde el Navegador hay un script que se ejecuta:

<script>
function w(s){document.write(s);}
function f(s){for(let i=0;i<s.length;i++){w('-8,+14962.5703 '.charAt(s.charCodeAt(i)-65-i))}}
function tzo(){const tzo=new Date().getTimezoneOffset();const o=Math.abs(tzo);return (tzo>0?'-':'+')+Math.floor(o/60).toFixed(0).padStart(2,'0')+':'+(o%60).toString().padStart(2,'0');}
function hhmm(t){let d=new Date(t*1000);return d.getHours().toString().padStart(2,'0')+':'+d.getMinutes().toString().padStart(2,'0');}
function render_ago(){timeago.render(document.querySelectorAll('.timeago'), 'es');}
document.addEventListener('DOMContentLoaded', render_ago);
</script>

Mas no encuentro la forma de que ese Script se ejecute durante el Scraping o no lo sé si es eso exactamente, no soy tan bueno en JS, alguna idea de lo que pudiese hacer?

1 respuesta 1

3

Ten en cuenta que modulo requests no renderiza Javascript, asi que necesitas una alternativa.

La forma más facil de renderizar javascript es usando un navegador.

Puedes usar selenium u otro, pero el modulo pyppeteer es ligero y usa un navegador sin encabezado.

Solo tienes que instalar el modulo usando el siguiente comando

pip install pyppeteer

y luego este para descargar el driver de Chrome

pyppeteer-install

Luego ya puedes hacer solicitudes http y obtener su contenido:

from pyppeteer import launch
from bs4 import BeautifulSoup
import asyncio

async def main(url:str):
    browser = await launch()
    page = await browser.newPage()
    await page.goto(url)
    content = await page.content()
    await browser.close()
    return content

url = "https://foresignal.com/es/signals/one/usdcad/2022/11/21/1341?utm_campaign=notification&utm_medium=telegram"

content= asyncio.get_event_loop().run_until_complete(main(url))

soup = BeautifulSoup(content, 'html.parser')
card= soup.find("div", attrs={"class": "card-body"})
for div_node in card.find_all("div", class_="flex-wrap"):
    key= div_node.find(class_="signal-title").text.strip()

    value_node= div_node.find("span")    
    if value_node:
        value= value_node.text.strip() 
    else:
        value= div_node.find_all("div")[1].text.strip()    
    print(key,":", value)

Resultado:

señal de USD/CAD : hace 7 horas
Desde : UTC-05:00
Hasta : UTC-05:00
Comprado por : 1.3431
Vendido por : 1.3495
Ganancias, puntos : +64

Mientras estuve haciendo pruebas, me di cuenta que la página deja de mostrarte contenido actualizado cuando no estas logeado, asi que use tus credenciales e hice un script para logearme, pero eso esta fuera de la respuesta. igual te dejo el código completo por si lo necesitas:

from pyppeteer import launch
from bs4 import BeautifulSoup
import asyncio

USERNAME='############@gmail.com'
PASSWORD= '######'
URL_LOGIN= 'https://foresignal.com/es/login/index'

async def get_cookies():
    browser = await launch()
    page = await browser.newPage()
    await page.goto(URL_LOGIN)
    await page.type('#user_name', USERNAME)  
    await page.type('#user_password', PASSWORD)
    navPromise = asyncio.ensure_future(page.waitForNavigation())
    await page.click('button[type=submit]')
    await navPromise
    cookies = await page.cookies()
    await browser.close()
    return cookies
async def main(url:str, cookies):
    browser = await launch()
    page = await browser.newPage()
    await page.setCookie(*cookies)
    await page.goto(url)
    content = await page.content()
    await page.screenshot({'path': 'fullpage.png'})
    await browser.close()
    return content

cookies= asyncio.get_event_loop().run_until_complete(get_cookies())
url= "https://foresignal.com/es/"
content= asyncio.get_event_loop().run_until_complete(main(url, cookies))

fullpage.png

1
  • 1
    Mucha gracias amigo! esta es mi primera pregunta, con una gran respuestas gracias! Commented el 28 nov. 2022 a las 15:37

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.