0

hay una pagina de la cual quiero usar la información en ella osea quiero hacer web scrapping ya que no encuentro su api. el link es airtmrates.com

ok me explico, quiero obtener el valor de las ofertas de a cuanto está el dolar Airtm comparado con otras monedas, Básicamente digamos que quiero manejar los valores que salen en la tabla.

Estoy usando javascript y Django, para Django úso BeautifulSoup ya que traté de hacer todo por nodejs pero se me complicó un poco.

En fin, eso era lo que quiero hacer, ahora viene el problema. Resulta que probé hacer con javascript ésto en la consola del navegador(estando en la página airtmrates claro) y sirvió para obtener los <tr></tr> con sus respectivos <td></td> con la información que necesito

let table = document.querySelector('#table1')
let allTrs = [...table.tBodies[0].childNodes]
//eso trae todos los tr de el tbody de la tabla

let allTdsValues = allTrs.map(el => [...el.cells])
//allTds posee todas las celdas o bien todos los <td>
//dentro de cada uno de los tr y retorna un array 
//con una coleccion de tds osea: allTdsValues = [arrTd,arrTd,arrTd,etc]


// y ya despues se puede acceder a los valores 
//de cada celda y manipularse como se quiera por ej: 
allTdsValues[10][0].innerText// ARS que es el peso argentino

ok, todo parece perfecto , y si lo és, pero desde la consola del navegador, cuando trato de hacerlo por medio del backend... allí surge el problema

si se fijan, me apoyo mucho en el id de una tabla es cual es <table id="table1">

ahora bien, ésta tabla al parecer no se carga al hacer llamadas desde el backend, ya que hice en python

import requests
url = requests.get('https://airtmrates.com/')
soup = BeautifulSoup(url.text,'html.parser')
table = soup.find(id='table1')

y no encuentra la tabla tan necesaria para mí, peeero si le digo que en vez de table1 busque un div que tiene por id="table100" ése si lo encuentra, y bueno es el padre de table1. Pero la "sorpresa" viene cuando veo que dentro de "table100" hay unos <scripts> que al parecer generan el código html de "table1" osea, que originalmente nunca aparece al primer instante de la carga sino que se generan luego gracias al javascript dentro de esas etiquetas

por ende es facil acceder a los datos desde la consola porque ya se han cargado todo y se ha hecho el .append() a los elementos html porque cuando llamo a la pagina desde python ó desde nodejs nunca sale la famosa tabla con id="table1"

ya para terminar resumo mi pregunta, un poco larga no? jeje. ¿Se puede o no se puede hacer un web scrapping a ésa pagina? acaso me estoy equivocando en algo, o es que no se puede acceder a los datos que quiero ya que son generados luego por javascript y no desde el principio. ¿hay alguna manera de obtener la pagina ya completamente cargada?

si me responden seré muy feliz y se me quitara el dolor de cabeza jeje, ya llevo todo un día tratando de hacer ésto. Gracias de antemano

2 respuestas 2

4

Al ver el código fuente del sitio que mencionas se puede apreciar que para generar la tabla hacen una petición a una URL que devuelve los datos en formato CSV.

Te muestro como obtenerlo con javascript. No es Python, pero el procedimiento debe ser el mismo:

const getData = async () => {
  // Se hace una petición a la URL que contiene los datos
  let response = await fetch('https://airtmrates.com/rates');
  // Se toma la respuesta y se convierte a texto plano
  let text = await response.text();
  // Se genera un array dividiendo el texto en cada salto de linea
  let lines = text.split('\n');
  // Se itera sobre el array
  for ( let line of lines ) {
    // Se busca la linea que inicie con "ARS," y si se encuentra,
    // se convierte la linea en array dividiendola por comas
    if ( line.startsWith('ARS,') ) return line.split(',');
  }
  return [];
};

(async () => {
  let data = await getData();
  console.log(data);
})();

2
  • justo asi lo quería hacer desde un principio, gracias. Una pregunta mas @RockoDev como supiste que habia otra url llamada airtmrates.com/rates ??? osea como supiste que existia ese /rates Commented el 14 oct. 2018 a las 6:23
  • 2
    @CarlosMartínez Vi en el código fuente un script que hace la petición con el protocolo de la URL relativo ("//airtmrates.com/rates").
    – RockoDev
    Commented el 14 oct. 2018 a las 6:39
3

Tu error es que estás ingresando la tabla completa al backend, y todo ese html se va perdiendo. Debes recuperar los datos como texto (strings), y no como html.

Te recomiendo ir dividiendo toda la información por filas, e ir ingresando los datos de cada celda en una base de datos o un archivo csv.

Para hacer esto, tendrás que hacer algunas cosas.

Primero: Acotar la descarga de BS4 a una row en vez de a la tabla completa, e iniciar un ciclo while o for aquí.

row = soup.findAll("tr")

Ojo que el contenido de una celda sería: celda = row.td.text

Segundo: Anidar y Sub-Dividir (usando split) ese row para ingresar los datos.

Tercero: Ingresar los datos en una bbdd o archivo csv. Puedes usar

file = open(filename,"w",encondig="utf-8")
file.write

En caso de ser bbdd usar pymysql.

Cuarto: Ponerle un timer para que se ejecute todos los días.

t = Timer(secs, scrapping,top10diario)
t.start()

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.