Skip to main content
se eliminaron 3 caracteres en el cuerpo
Origen Enlace

estoy intentando entender el código de la página https://foresignal.com/es/ y al momento de extraer los datos del HTML, hay datos que no me aparecen en el HTML pero cuando uso el navegador si, al parecer usa un tipo de script para evitar el Scraping Directo, y al momento de ver el codigo es una script que llama a una funcion en Js desde el HTML.

Esto es lo que veo en la Web

Datos de la Web

HMTL en la Web

Inspeciconar Elemento

Al hacer el Scraping en Python:

import requests
from bs4 import BeautifulSoup

client = requests.Session()

html = client.get('https://foresignal.com/es/login').content
soup = BeautifulSoup(html, 'html.parser')

#print(soup.find().text)

login_information = {
    'user_name' : 'qijoos3niievsik@gmail'##############@gmail.com',
    'user_password' : 'Hola*/00''######',
}

client.post('https://foresignal.com/es/login/login', data = login_information)
html = client.get('https://foresignal.com/es/signals/one/usdcad/2022/11/21/1341?utm_campaign=notification&utm_medium=telegram').content
soup = BeautifulSoup(html, 'html.parser')
print(soup.find().text)

Pueden usar mi login para probar

Al momento de ejecutar el codigo


 Mi Cuenta
 Premium
 Desconectar

Señal Forex de USD/CAD @ lun 21 nov 2022 13:41:00

USD/CAD

señal de USD/CAD

Desde UTC
Hasta UTC

Compra
Compre por
Take profit*
Stop Loss

No aparecen los Datos que quisiera, pareciera que esos datos se envían por JSON

Al momento de estudiar el HTML desde el Navegador hay un script que se ejecuta:

<script>
function w(s){document.write(s);}
function f(s){for(let i=0;i<s.length;i++){w('-8,+14962.5703 '.charAt(s.charCodeAt(i)-65-i))}}
function tzo(){const tzo=new Date().getTimezoneOffset();const o=Math.abs(tzo);return (tzo>0?'-':'+')+Math.floor(o/60).toFixed(0).padStart(2,'0')+':'+(o%60).toString().padStart(2,'0');}
function hhmm(t){let d=new Date(t*1000);return d.getHours().toString().padStart(2,'0')+':'+d.getMinutes().toString().padStart(2,'0');}
function render_ago(){timeago.render(document.querySelectorAll('.timeago'), 'es');}
document.addEventListener('DOMContentLoaded', render_ago);
</script>

Mas no encuentro la forma de que ese Script se ejecute durante el Scraping o no lo sé si es eso exactamente, no soy tan bueno en JS, alguna idea de lo que pudiese hacer?

estoy intentando entender el código de la página https://foresignal.com/es/ y al momento de extraer los datos del HTML, hay datos que no me aparecen en el HTML pero cuando uso el navegador si, al parecer usa un tipo de script para evitar el Scraping Directo, y al momento de ver el codigo es una script que llama a una funcion en Js desde el HTML.

Esto es lo que veo en la Web

Datos de la Web

HMTL en la Web

Inspeciconar Elemento

Al hacer el Scraping en Python:

import requests
from bs4 import BeautifulSoup

client = requests.Session()

html = client.get('https://foresignal.com/es/login').content
soup = BeautifulSoup(html, 'html.parser')

#print(soup.find().text)

login_information = {
    'user_name' : 'qijoos3niievsik@gmail.com',
    'user_password' : 'Hola*/00',
}

client.post('https://foresignal.com/es/login/login', data = login_information)
html = client.get('https://foresignal.com/es/signals/one/usdcad/2022/11/21/1341?utm_campaign=notification&utm_medium=telegram').content
soup = BeautifulSoup(html, 'html.parser')
print(soup.find().text)

Pueden usar mi login para probar

Al momento de ejecutar el codigo


 Mi Cuenta
 Premium
 Desconectar

Señal Forex de USD/CAD @ lun 21 nov 2022 13:41:00

USD/CAD

señal de USD/CAD

Desde UTC
Hasta UTC

Compra
Compre por
Take profit*
Stop Loss

No aparecen los Datos que quisiera, pareciera que esos datos se envían por JSON

Al momento de estudiar el HTML desde el Navegador hay un script que se ejecuta:

<script>
function w(s){document.write(s);}
function f(s){for(let i=0;i<s.length;i++){w('-8,+14962.5703 '.charAt(s.charCodeAt(i)-65-i))}}
function tzo(){const tzo=new Date().getTimezoneOffset();const o=Math.abs(tzo);return (tzo>0?'-':'+')+Math.floor(o/60).toFixed(0).padStart(2,'0')+':'+(o%60).toString().padStart(2,'0');}
function hhmm(t){let d=new Date(t*1000);return d.getHours().toString().padStart(2,'0')+':'+d.getMinutes().toString().padStart(2,'0');}
function render_ago(){timeago.render(document.querySelectorAll('.timeago'), 'es');}
document.addEventListener('DOMContentLoaded', render_ago);
</script>

Mas no encuentro la forma de que ese Script se ejecute durante el Scraping o no lo sé si es eso exactamente, no soy tan bueno en JS, alguna idea de lo que pudiese hacer?

estoy intentando entender el código de la página https://foresignal.com/es/ y al momento de extraer los datos del HTML, hay datos que no me aparecen en el HTML pero cuando uso el navegador si, al parecer usa un tipo de script para evitar el Scraping Directo, y al momento de ver el codigo es una script que llama a una funcion en Js desde el HTML.

Esto es lo que veo en la Web

Datos de la Web

HMTL en la Web

Inspeciconar Elemento

Al hacer el Scraping en Python:

import requests
from bs4 import BeautifulSoup

client = requests.Session()

html = client.get('https://foresignal.com/es/login').content
soup = BeautifulSoup(html, 'html.parser')

#print(soup.find().text)

login_information = {
    'user_name' : '##############@gmail.com',
    'user_password' : '######',
}

client.post('https://foresignal.com/es/login/login', data = login_information)
html = client.get('https://foresignal.com/es/signals/one/usdcad/2022/11/21/1341?utm_campaign=notification&utm_medium=telegram').content
soup = BeautifulSoup(html, 'html.parser')
print(soup.find().text)

Pueden usar mi login para probar

Al momento de ejecutar el codigo


 Mi Cuenta
 Premium
 Desconectar

Señal Forex de USD/CAD @ lun 21 nov 2022 13:41:00

USD/CAD

señal de USD/CAD

Desde UTC
Hasta UTC

Compra
Compre por
Take profit*
Stop Loss

No aparecen los Datos que quisiera, pareciera que esos datos se envían por JSON

Al momento de estudiar el HTML desde el Navegador hay un script que se ejecuta:

<script>
function w(s){document.write(s);}
function f(s){for(let i=0;i<s.length;i++){w('-8,+14962.5703 '.charAt(s.charCodeAt(i)-65-i))}}
function tzo(){const tzo=new Date().getTimezoneOffset();const o=Math.abs(tzo);return (tzo>0?'-':'+')+Math.floor(o/60).toFixed(0).padStart(2,'0')+':'+(o%60).toString().padStart(2,'0');}
function hhmm(t){let d=new Date(t*1000);return d.getHours().toString().padStart(2,'0')+':'+d.getMinutes().toString().padStart(2,'0');}
function render_ago(){timeago.render(document.querySelectorAll('.timeago'), 'es');}
document.addEventListener('DOMContentLoaded', render_ago);
</script>

Mas no encuentro la forma de que ese Script se ejecute durante el Scraping o no lo sé si es eso exactamente, no soy tan bueno en JS, alguna idea de lo que pudiese hacer?

Origen Enlace

No puedo Extraer Datos ocultos de una web con BeautifulSoup y python

estoy intentando entender el código de la página https://foresignal.com/es/ y al momento de extraer los datos del HTML, hay datos que no me aparecen en el HTML pero cuando uso el navegador si, al parecer usa un tipo de script para evitar el Scraping Directo, y al momento de ver el codigo es una script que llama a una funcion en Js desde el HTML.

Esto es lo que veo en la Web

Datos de la Web

HMTL en la Web

Inspeciconar Elemento

Al hacer el Scraping en Python:

import requests
from bs4 import BeautifulSoup

client = requests.Session()

html = client.get('https://foresignal.com/es/login').content
soup = BeautifulSoup(html, 'html.parser')

#print(soup.find().text)

login_information = {
    'user_name' : '[email protected]',
    'user_password' : 'Hola*/00',
}

client.post('https://foresignal.com/es/login/login', data = login_information)
html = client.get('https://foresignal.com/es/signals/one/usdcad/2022/11/21/1341?utm_campaign=notification&utm_medium=telegram').content
soup = BeautifulSoup(html, 'html.parser')
print(soup.find().text)

Pueden usar mi login para probar

Al momento de ejecutar el codigo


 Mi Cuenta
 Premium
 Desconectar

Señal Forex de USD/CAD @ lun 21 nov 2022 13:41:00

USD/CAD

señal de USD/CAD

Desde UTC
Hasta UTC

Compra
Compre por
Take profit*
Stop Loss

No aparecen los Datos que quisiera, pareciera que esos datos se envían por JSON

Al momento de estudiar el HTML desde el Navegador hay un script que se ejecuta:

<script>
function w(s){document.write(s);}
function f(s){for(let i=0;i<s.length;i++){w('-8,+14962.5703 '.charAt(s.charCodeAt(i)-65-i))}}
function tzo(){const tzo=new Date().getTimezoneOffset();const o=Math.abs(tzo);return (tzo>0?'-':'+')+Math.floor(o/60).toFixed(0).padStart(2,'0')+':'+(o%60).toString().padStart(2,'0');}
function hhmm(t){let d=new Date(t*1000);return d.getHours().toString().padStart(2,'0')+':'+d.getMinutes().toString().padStart(2,'0');}
function render_ago(){timeago.render(document.querySelectorAll('.timeago'), 'es');}
document.addEventListener('DOMContentLoaded', render_ago);
</script>

Mas no encuentro la forma de que ese Script se ejecute durante el Scraping o no lo sé si es eso exactamente, no soy tan bueno en JS, alguna idea de lo que pudiese hacer?