Skip to main content
Gritos removidos, correcciones en redacción
Origen Enlace
padaleiana
  • 3.3k
  • 13
  • 19
  • 27

¿CÓMO HACER SCRAPPING A UNA PÁGINA HIJA CON PUPPETEER ¿Cómo hacer scraping a una página hija con Puppeteer?

colegas.

Estoy haciendo un software que hace web scraping, pero parte de la información que necesito, está después de un enlace (<a>). Para lograr acceder a la información de esta segunda página, he utilizado el siguiente código:

En realidad, el código funciona, excepto en la función llamada readSubPage(), que ahí no hay ninguna función. Quisiera saber cómo hacer esto con async awaitasync await, o si existe una función en puppeteer que me permita hacerlo.

¿CÓMO HACER SCRAPPING A UNA PÁGINA HIJA CON PUPPETEER?

colegas.

Estoy haciendo un software que hace web scraping, pero parte de la información que necesito, está después de un enlace (<a>). Para lograr acceder a la información de esta segunda página, he utilizado el siguiente código:

En realidad, el código funciona, excepto en la función llamada readSubPage(), que ahí no hay ninguna función. Quisiera saber cómo hacer esto con async await, o si existe una función en puppeteer que me permita hacerlo.

¿Cómo hacer scraping a una página hija con Puppeteer?

Estoy haciendo un software que hace web scraping, pero parte de la información que necesito, está después de un enlace (<a>). Para lograr acceder a la información de esta segunda página, he utilizado el siguiente código:

En realidad, el código funciona, excepto en la función llamada readSubPage(), que ahí no hay ninguna función. Quisiera saber cómo hacer esto con async await, o si existe una función en puppeteer que me permita hacerlo.

Origen Enlace
Saco04
  • 665
  • 1
  • 7
  • 23

¿CÓMO HACER SCRAPPING A UNA PÁGINA HIJA CON PUPPETEER?

colegas.

Estoy haciendo un software que hace web scraping, pero parte de la información que necesito, está después de un enlace (<a>). Para lograr acceder a la información de esta segunda página, he utilizado el siguiente código:

const puppeteer = require('puppeteer'); // Require Puppeteer

async function readSubPage(url, page) {
    await page.goto(url)

    let sub = page.evaluate(() => {
        let abstract = document.querySelectorAll('div.trans-abstract')

        let subs = []

        for (let ab of abstract) {
            let title = abstract.querySelector('p.sec')
            let text = abstract.querySelector('p :nth-child(2)')

            let texts = {
                spanish: title.innerText === 'Abstract: ' || title.innerText === 'abstract: ' || title.innerText === 'ABSTRACT: ' ? text.innerText : 'Abstract not available in english.',
                english: title.innerText === 'Resumen: ' || title.innerText === 'resumen: ' || title.innerText === 'RESUMEN: ' ? text.innerText : 'Resumen no disponible en español.'
            }

            subs.push(texts)
        }

        return texts
    })

    console.log(subs)
    return subs
}

async function readScielo(query) {
    const browser = await puppeteer.launch()
    const page = await browser.newPage()

    await page.goto(query)

    var art = await page.evaluate(async () => {
        const container = document.querySelectorAll('div.item > div.col-md-11.col-sm-10.col-xs-11 >div.line > a')
        
        let list = []

        for (let element of container) {
            const strong = element.querySelector('strong.title')

            let links = {}

            if (strong !== null) {
                let abstracts = null

                try {
                    abstracts = await readSubPage(element.href, page)
                } catch (error) {
                    console.error(error)
                }

                links = {
                    link: element.href,
                    text: strong.innerText,
                    abstracts: abstracts
                }

                list.push(links)
            }
        }

        return list
    })

    browser.close()
    return art;
}

module.exports = readScielo

En realidad, el código funciona, excepto en la función llamada readSubPage(), que ahí no hay ninguna función. Quisiera saber cómo hacer esto con async await, o si existe una función en puppeteer que me permita hacerlo.