hay una pagina de la cual quiero usar la información en ella osea quiero hacer web scrapping ya que no encuentro su api. el link es airtmrates.com
ok me explico, quiero obtener el valor de las ofertas de a cuanto está el dolar Airtm comparado con otras monedas, Básicamente digamos que quiero manejar los valores que salen en la tabla.
Estoy usando javascript y Django, para Django úso BeautifulSoup ya que traté de hacer todo por nodejs pero se me complicó un poco.
En fin, eso era lo que quiero hacer, ahora viene el problema. Resulta que probé hacer con javascript ésto en la consola del navegador(estando en la página airtmrates claro) y sirvió para obtener los <tr></tr>
con sus respectivos <td></td>
con la información que necesito
let table = document.querySelector('#table1')
let allTrs = [...table.tBodies[0].childNodes]
//eso trae todos los tr de el tbody de la tabla
let allTdsValues = allTrs.map(el => [...el.cells])
//allTds posee todas las celdas o bien todos los <td>
//dentro de cada uno de los tr y retorna un array
//con una coleccion de tds osea: allTdsValues = [arrTd,arrTd,arrTd,etc]
// y ya despues se puede acceder a los valores
//de cada celda y manipularse como se quiera por ej:
allTdsValues[10][0].innerText// ARS que es el peso argentino
ok, todo parece perfecto , y si lo és, pero desde la consola del navegador, cuando trato de hacerlo por medio del backend... allí surge el problema
si se fijan, me apoyo mucho en el id de una tabla es cual es <table id="table1">
ahora bien, ésta tabla al parecer no se carga al hacer llamadas desde el backend, ya que hice en python
import requests
url = requests.get('https://airtmrates.com/')
soup = BeautifulSoup(url.text,'html.parser')
table = soup.find(id='table1')
y no encuentra la tabla tan necesaria para mí, peeero si le digo que en vez de table1 busque un div que tiene por id="table100" ése si lo encuentra, y bueno es el padre de table1. Pero la "sorpresa" viene cuando veo que dentro de "table100" hay unos <scripts>
que al parecer generan el código html de "table1" osea, que originalmente nunca aparece al primer instante de la carga sino que se generan luego gracias al javascript dentro de esas etiquetas
por ende es facil acceder a los datos desde la consola porque ya se han cargado todo y se ha hecho el .append()
a los elementos html
porque cuando llamo a la pagina desde python ó desde nodejs nunca sale la famosa tabla con id="table1"
ya para terminar resumo mi pregunta, un poco larga no? jeje. ¿Se puede o no se puede hacer un web scrapping a ésa pagina? acaso me estoy equivocando en algo, o es que no se puede acceder a los datos que quiero ya que son generados luego por javascript y no desde el principio. ¿hay alguna manera de obtener la pagina ya completamente cargada?
si me responden seré muy feliz y se me quitara el dolor de cabeza jeje, ya llevo todo un día tratando de hacer ésto. Gracias de antemano