Básicamente estoy haciendo un scrapping con Puppeteer a una ecommerce para el dropshiping pero luego de realizar más de 100 redirecciones se colapsa el programa con el siguiente error
UnhandledPromiseRejectionWarning: Error: Error de navegación porque el navegador se ha desconectado.
(async() => {
let data = [];
let language = '';
let getUrl = '';
let productos = 0;
const browser = await puppeteer.launch({headless: chromium, devtools: dev });
const page = await browser.newPage();
await page.setDefaultNavigationTimeout(0);
await page.setViewport({width: 1400, height: 1080 })
// Recorre los idiomas
for (const idioma of idiomas) {
for (const category of idioma) {
await page.goto(category);
do {
// espera que cargue la web
await page.waitForSelector('body > main > div > div.constrained--sm-up > div.list-page.back-to-top-offset > ul > li')
const productList = await page.$$('body > main > div > div.constrained--sm-up > div.list-page.back-to-top-offset > ul > li')
// Boton de next
const pagination = await page.$("a.pagination__next")
getUrl = await page.evaluate((pagination) => { return pagination === null ? pagination = false : pagination.getAttribute('href')}, pagination)
for (const product of productList) {
// Selectors
const name = await product.$('.productTile-details__name-value');
const price = await product.$('.productTile__price-value-lead-price');
const weight = await product.$('.productTile__quantity-text');
const priceByWeight = await product.$('.productTile__price-value-per-weight-text.inline');
if (name || price || weight || priceByWeight === !null) {
// Gets
const getName = await page.evaluate((name) => { return name === null ? name = '' : name.innerText }, name);
const getPrice = await page.evaluate((price) => { return price === null ? price = '' : price.innerText}, price);
const getWeight = await page.evaluate((weight) => {return weight === null ? weight = '' : weight.innerText}, weight);
const getPriceByWeight = await page.evaluate((priceByWeight) => {return priceByWeight === null ? priceByWeight = '' : priceByWeight.innerText}, priceByWeight);
// Logs
// console.log(idioma);
// console.log(category);
// console.log('Nombre: ' + getName + '\n' + 'Precio: ' + getPrice + '\n' + 'Peso: ' + getWeight + '\n' + 'PrecioXPeso: ' + getPriceByWeight);
productos++;
// Inserción excel
data.push(
productos,
getName,
getPrice,
getWeight,
getPriceByWeight,
)
} else {
if (getUrl == false) {
console.log('Listo');
console.log('productos obtenidos: ' + productos);
// Obtener idioma
if (category.includes('.ch') == true) {
language = 'germany';
data.push(language);
} else{
language = 'french';
data.push(language);
}
} else {
// detectar subdominio idioma
if (getUrl.includes('/de/') == true) {
await page.goto('https://www.coop.ch' + getUrl.toString());
} else{
await page.goto('https://www.coop.fr' + getUrl.toString());
}
// console.log(getUrl);
if (category.includes('.ch') == true) {
language = 'germany';
data.push(language);
} else{
language = 'french';
data.push(language);
}
console.log(data);
console.log('productos obtenidos: ' + productos);
}
}
}
} while (getUrl !== false);
}
}
saveExcel(data);
await browser.close();
})();
Explico:
- En un archivo externo tengo los idiomas en un array tanto en frances como en aleman
- Cada idioma tiene una categoría
- Cada categoría tiene tiene una lista de productos
- Cada página tiene un botón de next (de allí saco las redirecciones por cada categoria)
- Y bueno básicamente lo que quiero solucionar es que no me ocasione ese error luego de hacer múltiples redirecciones