0

Al hacer scraping con puppeteer y cheerio a una web me saca todos los items pero pero la mayoria están vacios y las imagenes me pone undefined excepto unos pocos que los saca bien como se ve en la imagen

introducir la descripción de la imagen aquí

este es el codigo que utilizo: ..............................................

(async () => {
try {
  
 const StealthPlugin = require('puppeteer-extra-plugin-stealth')
  puppeteer2.use(StealthPlugin())
    const browser = await puppeteer2.launch({
        executablePath: '/usr/bin/chromium-browser',
      headless: true,  args: ['--no-sandbox', '--disable-setuid-sandbox',
   
          '--user-agent=' + USER_AGENT + '']
         
  });
      
    const page = await browser.newPage({ ignoreHTTPSErrors: true });
    await page.setDefaultNavigationTimeout(0);
    await page.goto('https://es.wallapop.com/search?keywords=' , { waitUntil: 'networkidle0' });
 

   const body = await page.evaluate(() => {
  return document.querySelector('body').innerHTML;
  });

    var $ = cheerio.load(body);

    const pageItems = $('.ItemCardList__item .ng-star-inserted' ).toArray()
  
      .map(item => {
          const $item = $(item);

          return {
           
              //  id: $item.attr('data-adid'), c10420p([^i]*)\/
              id: uuid.v4(),
              title: $item.find('.ItemCard__info').text(),
              link: "https://es.wallapop.com/item/",
              image: $item.find(".w-100").attr('src'),
              price: $item.find('.ItemCard__price').text().replace(/[_\W]+/g, ""),
              empresa: "wallapop",
         
          };
      });
  
      const allItems = items.concat(pageItems);
      console.log(pageItems.length,'items retrieved', allItems.length, 'acumulat  ed');
4
  • Quizá el wait que haces no es suficiente para esperar a que las imágenes se muestren. Commented el 31 ene. 2023 a las 11:54
  • he probado con varios wait pero nada, cual sugieres?
    – josiland
    Commented el 31 ene. 2023 a las 12:14
  • Has probado con await page.waitForTimeout(10000) inmediatamente después del goto. He puesto 10 segundos pero puedes ir afinando Commented el 31 ene. 2023 a las 13:06
  • Sigue igual, he puesto hasta un minuto..
    – josiland
    Commented el 31 ene. 2023 a las 13:46

1 respuesta 1

0

usando plain puppeteer y sin cheerio funciona

 const puppeteer = require("puppeteer"); // ^19.6.3

const url = "<Your URL>";

let browser;
(async () => {
  browser = await puppeteer.launch();
  const [page] = await browser.pages();
  await page.goto(url, {waitUntil: "domcontentloaded"});
  await page.waitForSelector(".ItemCard__info");
  const items = await page.$$eval(".ItemCardList__item", els =>
    els.map(e => ({
      title: e.querySelector(".ItemCard__info").textContent.trim(),
      img: e.querySelector("img").getAttribute("src"),
      price: e.querySelector(".ItemCard__price").textContent.trim(),
    }))
  );
  console.log(items);
  console.log(items.length); // => 40
})()
  .catch(err => console.error(err))
  .finally(() => browser?.close());

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.