estoy intentando entender el código de la página https://foresignal.com/es/
y al momento de extraer los datos del HTML, hay datos que no me aparecen en el HTML pero cuando uso el navegador si, al parecer usa un tipo de script para evitar el Scraping Directo, y al momento de ver el codigo es una script que llama a una funcion en Js desde el HTML.
Esto es lo que veo en la Web
HMTL en la Web
Al hacer el Scraping en Python:
import requests
from bs4 import BeautifulSoup
client = requests.Session()
html = client.get('https://foresignal.com/es/login').content
soup = BeautifulSoup(html, 'html.parser')
#print(soup.find().text)
login_information = {
'user_name' : '##############@gmail.com',
'user_password' : '######',
}
client.post('https://foresignal.com/es/login/login', data = login_information)
html = client.get('https://foresignal.com/es/signals/one/usdcad/2022/11/21/1341?utm_campaign=notification&utm_medium=telegram').content
soup = BeautifulSoup(html, 'html.parser')
print(soup.find().text)
Pueden usar mi login para probar
Al momento de ejecutar el codigo
Mi Cuenta
Premium
Desconectar
Señal Forex de USD/CAD @ lun 21 nov 2022 13:41:00
USD/CAD
señal de USD/CAD
Desde UTC
Hasta UTC
Compra
Compre por
Take profit*
Stop Loss
No aparecen los Datos que quisiera, pareciera que esos datos se envían por JSON
Al momento de estudiar el HTML desde el Navegador hay un script que se ejecuta:
<script>
function w(s){document.write(s);}
function f(s){for(let i=0;i<s.length;i++){w('-8,+14962.5703 '.charAt(s.charCodeAt(i)-65-i))}}
function tzo(){const tzo=new Date().getTimezoneOffset();const o=Math.abs(tzo);return (tzo>0?'-':'+')+Math.floor(o/60).toFixed(0).padStart(2,'0')+':'+(o%60).toString().padStart(2,'0');}
function hhmm(t){let d=new Date(t*1000);return d.getHours().toString().padStart(2,'0')+':'+d.getMinutes().toString().padStart(2,'0');}
function render_ago(){timeago.render(document.querySelectorAll('.timeago'), 'es');}
document.addEventListener('DOMContentLoaded', render_ago);
</script>
Mas no encuentro la forma de que ese Script se ejecute durante el Scraping o no lo sé si es eso exactamente, no soy tan bueno en JS, alguna idea de lo que pudiese hacer?