0

estoy haciendo scrapping simultaneamente a 4 urls , utilizo puppeteer-cluster, en principio me funciona bien cuando utilizo unas variables a modo de prueba sin utilizar post, pero cuando creo un servidor con node y le llegan las variables por post una de las funciones que scrapean una url me da el siguiente error TimeoutError: waiting for selector .list_ads_row failed: timeout 30000 ms exceeded, utilizo headless browser por cada funcion.

const http = require('http');
var sc = require('./scraper');
var qs = require('querystring');

const { Cluster } = require('puppeteer-cluster');
var agente = "Mozilla/5.0 (Linux; Android 10) AppleWebKit/537.36 (KHTML, 
like Gecko) Chrome/86.0.4240.99 Mobile Safari/537.36";
http.createServer((request, response) => {
  const { headers, method, url } = request;
  let body = [];
  request.on('error', (err) => {
    console.error(err);
  }).on('data', (chunk) => {
    body.push(chunk);
  }).on('end', () => {
    body = Buffer.concat(body).toString();

     (async () => {
      try{
          var post = qs.parse(body);
         
     if(post.clave2== 'undefined'){
      post.clave2 = null;
     }
     if(post.clave3== 'undefined'){
      post.clave3 = null;
     }

       const cluster = await Cluster.launch({
          concurrency: Cluster.CONCURRENCY_CONTEXT,
          maxConcurrency: 4,
          puppeteerOptions: {
          headless: true,
          args: ['--no-sandbox', '--disable-setuid-sandbox',
         
          },
               });
     
 

      cluster.queue(sc.data.scrape1(post.clave1,post.clave2,
       post.clave3,post.provincia));
      cluster.queue(sc.data.scrape2(post.clave1,post.clave2
      ,post.clave3,post.latitud,post.longitud));
  
      cluster.queue(sc.data.scrape3(post.clave1,post.clave2
      ,post.clave3,post.provincia));
       
      cluster.queue(sc.data.scrape4(post.clave1,post.clave2
      ,post.clave3));

          await cluster.idle();
          await cluster.close();
          } catch (error) {
          console.log(error);
      } 
      })();

      });
      }).listen(3000, "***.***.***.***");

1 respuesta 1

0

Muchas veces, al hacer WebScrapping a webs dinámicas, cuando se obtiene un dato, es posible que en ese mismo instante sí exista, pero medio segundo después no.

Si tu problema viene con webs dinámicas, existen herramientas como puppeteer que te hacen una "captura" de la página web en el instante i y, con la herramienta cheerio puedes convertir esa captura en html y hacer el scrapping sobre ello.

Para más información, te dejo una página web donde tienes más información (está en inglés). Quora - Cómo hacer Web Scrapping sobre páginas dinámiscas

1
  • Gracias por la aportación, lo probare
    – josiland
    Commented el 20 oct. 2020 a las 11:48

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.