0

Estoy haciendo un software que hace web scraping, pero parte de la información que necesito, está después de un enlace (<a>). Para lograr acceder a la información de esta segunda página, he utilizado el siguiente código:

const puppeteer = require('puppeteer'); // Require Puppeteer

async function readSubPage(url, page) {
    await page.goto(url)

    let sub = page.evaluate(() => {
        let abstract = document.querySelectorAll('div.trans-abstract')

        let subs = []

        for (let ab of abstract) {
            let title = abstract.querySelector('p.sec')
            let text = abstract.querySelector('p :nth-child(2)')

            let texts = {
                spanish: title.innerText === 'Abstract: ' || title.innerText === 'abstract: ' || title.innerText === 'ABSTRACT: ' ? text.innerText : 'Abstract not available in english.',
                english: title.innerText === 'Resumen: ' || title.innerText === 'resumen: ' || title.innerText === 'RESUMEN: ' ? text.innerText : 'Resumen no disponible en español.'
            }

            subs.push(texts)
        }

        return texts
    })

    console.log(subs)
    return subs
}

async function readScielo(query) {
    const browser = await puppeteer.launch()
    const page = await browser.newPage()

    await page.goto(query)

    var art = await page.evaluate(async () => {
        const container = document.querySelectorAll('div.item > div.col-md-11.col-sm-10.col-xs-11 >div.line > a')
        
        let list = []

        for (let element of container) {
            const strong = element.querySelector('strong.title')

            let links = {}

            if (strong !== null) {
                let abstracts = null

                try {
                    abstracts = await readSubPage(element.href, page)
                } catch (error) {
                    console.error(error)
                }

                links = {
                    link: element.href,
                    text: strong.innerText,
                    abstracts: abstracts
                }

                list.push(links)
            }
        }

        return list
    })

    browser.close()
    return art;
}

module.exports = readScielo

En realidad, el código funciona, excepto en la función llamada readSubPage(), que ahí no hay ninguna función. Quisiera saber cómo hacer esto con async await, o si existe una función en puppeteer que me permita hacerlo.

1 respuesta 1

0

Creo que tiene un error de "typo" porque en su código está retornando texts y no subs que es el array acumulador, pruebe con este código a ver si le funciona:

async function readSubPage(url, page) {
  await page.goto(url)

  const sub = page.evaluate(() => {
    const abstract = document.querySelectorAll('div.trans-abstract')

    const subs = []

    for(let ab of abstract) {
      let title = abstract.querySelector('p.sec')
      let text = abstract.querySelector('p :nth-child(2)')

      let texts = {
        spanish: title.innerText === 'Abstract: ' || title.innerText === 'abstract: ' || title.innerText === 'ABSTRACT: ' ? text.innerText : 'Abstract not available in english.',
        english: title.innerText === 'Resumen: ' || title.innerText === 'resumen: ' || title.innerText === 'RESUMEN: ' ? text.innerText : 'Resumen no disponible en español.'
      }

      subs.push(texts)
    }

    return subs
  })

  console.log(sub)
  return sub
}

Por cierto, el uso de consty let no debería modificar el resultado de su código, pero es buena práctica usarlos adecuadamente. Solamente use let cuando vaya a modificar la definición de la variable.

1
  • Bueno, al menos la consola ya me muestra un error. Quité try {} catch {} y la consola me dice que Error: Evaluation failed: ReferenceError: readSubPage is not defined.
    – Saco04
    Commented el 18 ago. 2022 a las 14:45

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.