Al hacer scraping con puppeteer y cheerio a una web me saca todos los items pero pero la mayoria están vacios y las imagenes me pone undefined excepto unos pocos que los saca bien como se ve en la imagen
este es el codigo que utilizo: ..............................................
(async () => {
try {
const StealthPlugin = require('puppeteer-extra-plugin-stealth')
puppeteer2.use(StealthPlugin())
const browser = await puppeteer2.launch({
executablePath: '/usr/bin/chromium-browser',
headless: true, args: ['--no-sandbox', '--disable-setuid-sandbox',
'--user-agent=' + USER_AGENT + '']
});
const page = await browser.newPage({ ignoreHTTPSErrors: true });
await page.setDefaultNavigationTimeout(0);
await page.goto('https://es.wallapop.com/search?keywords=' , { waitUntil: 'networkidle0' });
const body = await page.evaluate(() => {
return document.querySelector('body').innerHTML;
});
var $ = cheerio.load(body);
const pageItems = $('.ItemCardList__item .ng-star-inserted' ).toArray()
.map(item => {
const $item = $(item);
return {
// id: $item.attr('data-adid'), c10420p([^i]*)\/
id: uuid.v4(),
title: $item.find('.ItemCard__info').text(),
link: "https://es.wallapop.com/item/",
image: $item.find(".w-100").attr('src'),
price: $item.find('.ItemCard__price').text().replace(/[_\W]+/g, ""),
empresa: "wallapop",
};
});
const allItems = items.concat(pageItems);
console.log(pageItems.length,'items retrieved', allItems.length, 'acumulat ed');