1

Básicamente estoy haciendo un scrapping con Puppeteer a una ecommerce para el dropshiping pero luego de realizar más de 100 redirecciones se colapsa el programa con el siguiente error

UnhandledPromiseRejectionWarning: Error: Error de navegación porque el navegador se ha desconectado.

(async() => {

  let data = []; 
  let language = '';
  let getUrl = '';
  let productos = 0;

  const browser = await puppeteer.launch({headless: chromium, devtools: dev });
  const page = await browser.newPage();
  await page.setDefaultNavigationTimeout(0);
  await page.setViewport({width: 1400, height: 1080 })
  // Recorre los idiomas
  for (const idioma of idiomas) {
    for (const category of idioma) {
      
      await page.goto(category);
      do {
        // espera que cargue la web
        await page.waitForSelector('body > main > div > div.constrained--sm-up > div.list-page.back-to-top-offset > ul > li')
        const productList = await page.$$('body > main > div > div.constrained--sm-up > div.list-page.back-to-top-offset > ul > li')
        // Boton de next
        const pagination = await page.$("a.pagination__next")
        getUrl = await page.evaluate((pagination) => { return pagination === null ? pagination = false : pagination.getAttribute('href')}, pagination)
        for (const product of productList) {
          // Selectors 
          const name = await product.$('.productTile-details__name-value');
          const price = await product.$('.productTile__price-value-lead-price');
          const weight = await product.$('.productTile__quantity-text');
          const priceByWeight = await product.$('.productTile__price-value-per-weight-text.inline');
          if (name || price || weight || priceByWeight === !null) {
            // Gets
            const getName = await page.evaluate((name) => { return name === null ? name = '' : name.innerText  }, name);
            const getPrice = await page.evaluate((price) => { return price === null ? price = '' : price.innerText}, price);
            const getWeight = await page.evaluate((weight) => {return weight === null ? weight = '' : weight.innerText}, weight);
            const getPriceByWeight = await page.evaluate((priceByWeight) => {return priceByWeight === null ? priceByWeight = '' : priceByWeight.innerText}, priceByWeight);
            // Logs
            // console.log(idioma);
            // console.log(category);
            // console.log('Nombre: ' + getName + '\n' + 'Precio: ' + getPrice + '\n' + 'Peso: ' + getWeight + '\n' + 'PrecioXPeso: ' + getPriceByWeight);
            productos++;
            // Inserción excel 
            data.push(
              productos,
              getName,
              getPrice,
              getWeight,
              getPriceByWeight,
            )
          } else {
            if (getUrl == false) {
              console.log('Listo');
              console.log('productos obtenidos: ' + productos);
              // Obtener idioma
              if (category.includes('.ch') == true) {
                language = 'germany';
                data.push(language);
              } else{
                language = 'french';
                data.push(language);
              }
            } else {
              // detectar subdominio idioma
              if (getUrl.includes('/de/') == true) {
                await page.goto('https://www.coop.ch' + getUrl.toString());
              } else{
                await page.goto('https://www.coop.fr' + getUrl.toString());
              }
              // console.log(getUrl);
              if (category.includes('.ch') == true) {
                language = 'germany';
                data.push(language);
              } else{
                language = 'french';
                data.push(language);
              }
              console.log(data);
              console.log('productos obtenidos: ' + productos);
            }
          }
        }
      } while (getUrl !== false);
    }
  }
  saveExcel(data);
  await browser.close();
})();

Explico:

  • En un archivo externo tengo los idiomas en un array tanto en frances como en aleman
  • Cada idioma tiene una categoría
  • Cada categoría tiene tiene una lista de productos
  • Cada página tiene un botón de next (de allí saco las redirecciones por cada categoria)
  • Y bueno básicamente lo que quiero solucionar es que no me ocasione ese error luego de hacer múltiples redirecciones

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.