estoy haciendo scrapping simultaneamente a 4 urls , utilizo puppeteer-cluster, en principio me funciona bien cuando utilizo unas variables a modo de prueba sin utilizar post, pero cuando creo un servidor con node y le llegan las variables por post una de las funciones que scrapean una url me da el siguiente error TimeoutError: waiting for selector .list_ads_row
failed: timeout 30000 ms exceeded, utilizo headless browser por cada funcion.
const http = require('http');
var sc = require('./scraper');
var qs = require('querystring');
const { Cluster } = require('puppeteer-cluster');
var agente = "Mozilla/5.0 (Linux; Android 10) AppleWebKit/537.36 (KHTML,
like Gecko) Chrome/86.0.4240.99 Mobile Safari/537.36";
http.createServer((request, response) => {
const { headers, method, url } = request;
let body = [];
request.on('error', (err) => {
console.error(err);
}).on('data', (chunk) => {
body.push(chunk);
}).on('end', () => {
body = Buffer.concat(body).toString();
(async () => {
try{
var post = qs.parse(body);
if(post.clave2== 'undefined'){
post.clave2 = null;
}
if(post.clave3== 'undefined'){
post.clave3 = null;
}
const cluster = await Cluster.launch({
concurrency: Cluster.CONCURRENCY_CONTEXT,
maxConcurrency: 4,
puppeteerOptions: {
headless: true,
args: ['--no-sandbox', '--disable-setuid-sandbox',
},
});
cluster.queue(sc.data.scrape1(post.clave1,post.clave2,
post.clave3,post.provincia));
cluster.queue(sc.data.scrape2(post.clave1,post.clave2
,post.clave3,post.latitud,post.longitud));
cluster.queue(sc.data.scrape3(post.clave1,post.clave2
,post.clave3,post.provincia));
cluster.queue(sc.data.scrape4(post.clave1,post.clave2
,post.clave3));
await cluster.idle();
await cluster.close();
} catch (error) {
console.log(error);
}
})();
});
}).listen(3000, "***.***.***.***");