2

Estoy intentando realizar web scraping a una página que está protegida con CloudFlare y rechaza la conexión enviando a una página con error 404 Not Found no sé cómo hacer para poder conectarme a esa página y obtener la información que necesito.

Así es cómo lo estoy haciendo :

    function curl($url) {
        $ch = curl_init($url); 
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); 
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
        $info = curl_exec($ch); 
        curl_close($ch);
        return $info;
    }

    $sitioweb = curl("https://urldepagina.com");
    echo $sitioweb;

Así se queda cargando un rato y luego me muestra el error de página no encontrada.

introducir la descripción de la imagen aquí

¿Con qué o de que modo puedo realizar el web scraping con este tipo de páginas?

Actualización 1 : Se define el User Agent y sigue sin funcionar.

7
  • 1
    El primer filtrado de cloud flare es el user agent. curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13'); el 28 nov. 2017 a las 19:59
  • 1
    Gracias por tu comentario, intenté pero sigue sin funcionar, sin embargo investigué acerca de eso y me encontré con este valor Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.2 y tampoco funciona. el 28 nov. 2017 a las 20:11
  • 1
    Basicamente la proteccion DDoS es para evitar que scripts puedan acceder automaticamente a tu web sea para hacer scrapping o solo por consumir recursos.
    – LordNeo
    el 28 nov. 2017 a las 20:14
  • 2
    @EduenSarceño para evitar que GoogleBot figure como DDoS usan el par useragent/IP. Si esta haciendo scrapping de una web, lo mas probable es que por el numero de consultas ya este clasificado como bot o ddos. Se podria probar con el follow redirects de curl, pero dice que le da "pagina no encontrada" despues de la carga de cloudflare, lo cual podria indicar algun cortafuego interviniendo.
    – LordNeo
    el 28 nov. 2017 a las 20:50
  • 2
    La comprobación de cloudflare se hace dos pasos, cloudflare coloca un script que el navegador debe ejecutar para comprar que es un navegador. Si tienes un interprete básico de javascript puedes consumir la página. Insisto, hay alternativas, CloudFlare sólo impide ataques DDoS, dependiendo cuantas solicitudes hagas serás tomado como ataquente. el 29 nov. 2017 a las 0:54

1 respuesta 1

1

La proteccion anti-DDoS de CloudFlare precisamente impide que puedas hacer scrapping o cualquier otra forma de "revision automatizada" de la pagina, sea con fines de obtener informacion o solo consumir recursos.

Puedes usar una libreria como esta: https://github.com/justacan/cloudflare que se encarga de pasar algunas de las pruebas como UserAgent, deteccion de habilidad para ejecutar javascript y varias otras cosas comunes en casos como este.

Tambien te aconsejo que hables con el dueño de la pagina y quizas llegar a algun acuerdo a largo plazo como acceso a un API para obtener la informacion que buscas.

EDIT: En el mismo plugin indicado hay una demo usando Guzzle como cliente HTTP (en vez de file_get_contents o curl, por la habilidad para ejecutar javascript), lo importante es esta parte:

$cloudflare = new CloudFlare($this->body); // create CloudFlare instance 
if ($cloudflare->detect()) { // bool if CloudFlare
  $cloudflare->addBaseUrl($this->baseUrl); // the JavaScript needs the baseUrl
  $cfo = $cloudflare->challengeForm(); // CloudFlare challengeForm answers
  $this->makeRequest($cfo->url, $cfo->query); // send it back in the query string
  sleep(5); // must wait 5 seconds
  $this->makeRequest($page, array(), true); // try the origial page again
}

La unica parte medianamente anomala que tienes que regular con el comando que estes generando la peticion http es:

$this->makeRequest($cfo->url, $cfo->query); // send it back in the query string
Y
$this->makeRequest($page, array(), true); // try the origial page again

Donde se estan enviando las peticiones http a la pagina.

Basicamente:

  • Generas una instancia nueva del objeto cloudflare
  • Haces que revise si esta pagina tiene o no cloudflare
  • Obtiene el "challenge" (que son las pruebas javascript de cloudflare para detectar si eres o no un bot)
  • Responde de vuelta el challenge
  • Visita nuevamente la url original (ya autenticado como "no bot").
5
  • 1
    Gracias por tu respuesta, intenté añadiendo el plugin y corrigiendo cada error que me salía, pero aún así continúa sin funcionar. el 28 nov. 2017 a las 22:26
  • 1
    Probaste ejecutar con NodeJS solo el plugin y hacer una llamada de prueba? Hay varias alternativas mas en github dependiendo de los lenguajes que quieras utilizar.
    – LordNeo
    el 29 nov. 2017 a las 11:44
  • 1
    La cuestión es, ¿Cómo realizaría la invocación con NodeJS? ya que este plugin ofrece varias herramientas y no existe documentación puntual para lo que necesito. el 29 nov. 2017 a las 14:11
  • 2
    Asumiendo que tienes instalado NodeJS, incluyes la libreria y usas un proceso similar a lo que se describe en el demo de ese plugin. Voy a poner el codigo en la respuesta.
    – LordNeo
    el 29 nov. 2017 a las 15:20
  • 1
    Instalé el NodeJS, Después de un montón de problemas que me dió (es la primera vez que lo uso) no logré hacerlo. el 1 dic. 2017 a las 21:20

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.