Estoy intentando realizar web scraping a una página que está protegida con CloudFlare y rechaza la conexión enviando a una página con error 404 Not Found no sé cómo hacer para poder conectarme a esa página y obtener la información que necesito.
Así es cómo lo estoy haciendo :
function curl($url) {
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
$info = curl_exec($ch);
curl_close($ch);
return $info;
}
$sitioweb = curl("https://urldepagina.com");
echo $sitioweb;
Así se queda cargando un rato y luego me muestra el error de página no encontrada.
¿Con qué o de que modo puedo realizar el web scraping con este tipo de páginas?
Actualización 1 : Se define el User Agent y sigue sin funcionar.
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13');
Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.2
y tampoco funciona.