Estoy haciendo un software que hace web scraping, pero parte de la información que necesito, está después de un enlace (<a>
). Para lograr acceder a la información de esta segunda página, he utilizado el siguiente código:
const puppeteer = require('puppeteer'); // Require Puppeteer
async function readSubPage(url, page) {
await page.goto(url)
let sub = page.evaluate(() => {
let abstract = document.querySelectorAll('div.trans-abstract')
let subs = []
for (let ab of abstract) {
let title = abstract.querySelector('p.sec')
let text = abstract.querySelector('p :nth-child(2)')
let texts = {
spanish: title.innerText === 'Abstract: ' || title.innerText === 'abstract: ' || title.innerText === 'ABSTRACT: ' ? text.innerText : 'Abstract not available in english.',
english: title.innerText === 'Resumen: ' || title.innerText === 'resumen: ' || title.innerText === 'RESUMEN: ' ? text.innerText : 'Resumen no disponible en español.'
}
subs.push(texts)
}
return texts
})
console.log(subs)
return subs
}
async function readScielo(query) {
const browser = await puppeteer.launch()
const page = await browser.newPage()
await page.goto(query)
var art = await page.evaluate(async () => {
const container = document.querySelectorAll('div.item > div.col-md-11.col-sm-10.col-xs-11 >div.line > a')
let list = []
for (let element of container) {
const strong = element.querySelector('strong.title')
let links = {}
if (strong !== null) {
let abstracts = null
try {
abstracts = await readSubPage(element.href, page)
} catch (error) {
console.error(error)
}
links = {
link: element.href,
text: strong.innerText,
abstracts: abstracts
}
list.push(links)
}
}
return list
})
browser.close()
return art;
}
module.exports = readScielo
En realidad, el código funciona, excepto en la función llamada readSubPage()
, que ahí no hay ninguna función. Quisiera saber cómo hacer esto con async await
, o si existe una función en puppeteer que me permita hacerlo.