Buenos días estoy realizando un scarp a una página web para lo cual me traigo el contenido de dicha página --"https://www.fossil.com/us/en/search.ES3565.html"-- el problema es que cuando realizo la petición ya sea con curl o con una libreria para está tarea, la url me redirecciona a la página oficial de la región, digo esto porque usando un navegador como tor la url me lleva precisamente a lo que necesito. La página oficial de USA, pero si lo hago en google o firefox me redirecciona a la web oficial de la región, Colombia en este caso.
En este caso realizo la busqueda con TOR y el navegador me devuelve lo que necesito la página oficial USA de fossil.
Esto es lo que obtengo desde un navegador como chrome o firefox, el problema es que cuando hago un curl o scrap con la libreria shd.php que es la que siempre he usado en estos casos, la respuesta es la redirección local, en caso de la libreria o un 301 Moved permanently en caso de hacerse la petición con curl.
<?php
namespace Utils;
/**
* Helpers functions class
* @author Camilo Martinez [email protected]
*/
abstract class Helpers {
/**
* Configuration for curl
* @var array
*/
protected static $CURL_OPTS = array(
CURLOPT_HEADER => true, //Está opción fue agregada temporalmente
CURLOPT_FOLLOWLOCATION => true, //Está opción fue agregada temporalmente
CURLOPT_SSL_VERIFYPEER => false,
CURLOPT_CONNECTTIMEOUT => 10,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 60
);
/**
* Execute GET request
* @param string $path Path for request
* @param array $params Request params
* @param boolean $assoc
* @return array Request response
*/
public static function get($path, $params = null, $assoc = false) {
$exec = self::execute($path, null, $params, $assoc);
return $exec;
}
/**
* Execute POST request
* @param string $path Path for request
* @param array $body Body request
* @param array $params Request params
* @return array Request response
*/
public static function post($path, $body = null, $params = array(), $httpHeaders = array()) {
$body = json_encode($body);
if(empty($httpHeaders))
$httpHeaders[] = 'content-type: application/json';
$opts = array(
CURLOPT_HTTPHEADER => $httpHeaders,
CURLOPT_POST => true,
CURLOPT_POSTFIELDS => $body
);
$exec = self::execute($path, $opts, $params);
return $exec;
}
/**
* Execute curl Request
* @param string $path Path for request
* @param array $opts [description]
* @return array Response of request
*/
protected static function execute($path, $opts = array(), $params = array(), $assoc = false) {
$uri = self::make_path($path, $params);
$ch = curl_init($uri);
curl_setopt_array($ch, self::$CURL_OPTS);
if(!empty($opts)){
curl_setopt_array($ch, $opts);
}
$exec = curl_exec($ch);
$return['body'] = (is_array(json_decode($exec, true)) || is_object(json_decode($exec, true))) ? json_decode(curl_exec($ch), $assoc):$exec;
$return['error'] = curl_error($ch);
$return['errno'] = curl_errno($ch);
$return['httpCode'] = curl_getinfo($ch, CURLINFO_HTTP_CODE);
curl_close($ch);
return $return;
}
/**
* Build uri
* @param string $path
* @param array $params Query parameters
* @return string Uri
*/
protected static function make_path($path, $params = array()) {
$uri = $path;
if(!empty($params)) {
$paramsJoined = array();
foreach($params as $param => $value) {
$paramsJoined[] = "$param=$value";
}
$params = '?' . implode('&', $paramsJoined);
$uri = $uri . $params;
}
return $uri;
}
}
Esta es una clase con la que hago peticiones curl.
$response = hps::get('https://www.fossil.com/us/en/search.ES3565.html');
var_dump($response);
La pregunta es existe alguna forma de evitar la redirección y que obtenga directamente lo que necesito?