0

Buenos días estoy realizando un scarp a una página web para lo cual me traigo el contenido de dicha página --"https://www.fossil.com/us/en/search.ES3565.html"-- el problema es que cuando realizo la petición ya sea con curl o con una libreria para está tarea, la url me redirecciona a la página oficial de la región, digo esto porque usando un navegador como tor la url me lleva precisamente a lo que necesito. La página oficial de USA, pero si lo hago en google o firefox me redirecciona a la web oficial de la región, Colombia en este caso.

introducir la descripción de la imagen aquí

En este caso realizo la busqueda con TOR y el navegador me devuelve lo que necesito la página oficial USA de fossil.

introducir la descripción de la imagen aquí

Esto es lo que obtengo desde un navegador como chrome o firefox, el problema es que cuando hago un curl o scrap con la libreria shd.php que es la que siempre he usado en estos casos, la respuesta es la redirección local, en caso de la libreria o un 301 Moved permanently en caso de hacerse la petición con curl.

<?php
namespace Utils;

/**
 * Helpers functions class
 * @author Camilo Martinez [email protected]
 */
abstract class Helpers {

  /**
   * Configuration for curl
   * @var array
   */
  protected static $CURL_OPTS = array(
    CURLOPT_HEADER => true, //Está opción fue agregada temporalmente 
    CURLOPT_FOLLOWLOCATION => true, //Está opción fue agregada temporalmente
    CURLOPT_SSL_VERIFYPEER => false,
    CURLOPT_CONNECTTIMEOUT => 10,
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_TIMEOUT => 60
  );

  /**
   * Execute GET request
   * @param  string  $path Path for request
   * @param  array $params Request params
   * @param  boolean $assoc
   * @return array Request response
   */
  public static function get($path, $params = null, $assoc = false) {
    $exec = self::execute($path, null, $params, $assoc);
    return $exec;
  }

  /**
   * Execute POST request
   * @param  string $path Path for request
   * @param  array $body Body request
   * @param  array  $params Request params
   * @return array Request response
   */
  public static function post($path, $body = null, $params = array(), $httpHeaders = array()) {
    $body = json_encode($body);
    if(empty($httpHeaders))
      $httpHeaders[] = 'content-type: application/json';
    $opts = array(
      CURLOPT_HTTPHEADER => $httpHeaders,
      CURLOPT_POST => true,
      CURLOPT_POSTFIELDS => $body
    );

    $exec = self::execute($path, $opts, $params);
    return $exec;
  }

  /**
   * Execute curl Request
   * @param  string $path Path for request
   * @param  array  $opts [description]
   * @return array Response of request
   */
  protected static function execute($path, $opts = array(), $params = array(), $assoc = false) {
    $uri = self::make_path($path, $params);
    $ch = curl_init($uri);
    curl_setopt_array($ch, self::$CURL_OPTS);
    if(!empty($opts)){
      curl_setopt_array($ch, $opts);
    }
    $exec = curl_exec($ch);
    $return['body'] = (is_array(json_decode($exec, true)) || is_object(json_decode($exec, true))) ? json_decode(curl_exec($ch), $assoc):$exec;
    $return['error'] = curl_error($ch);
    $return['errno'] = curl_errno($ch);
    $return['httpCode'] = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    curl_close($ch);
    return $return;
  }

  /**
   * Build uri
   * @param  string $path
   * @param  array  $params Query parameters
   * @return string Uri
   */
  protected static function make_path($path, $params = array()) {
    $uri = $path;
    if(!empty($params)) {
      $paramsJoined = array();
      foreach($params as $param => $value) {
       $paramsJoined[] = "$param=$value";
      }
      $params = '?' . implode('&', $paramsJoined);
      $uri = $uri . $params;
    }
    return $uri;
  }
}

Esta es una clase con la que hago peticiones curl.

$response = hps::get('https://www.fossil.com/us/en/search.ES3565.html');
var_dump($response);

La pregunta es existe alguna forma de evitar la redirección y que obtenga directamente lo que necesito?

8
  • 1
    CURLOPT_FOLLOWLOCATION=0 deberia evitar redirecciones
    – Carmen
    Commented el 7 nov. 2018 a las 15:16
  • Cuando hago la petición este valor esta en 0. Aunque evita que se redireccione sigo obteniendo un 'HTTP/1.1 301 Moved Permanently.
    – user22090
    Commented el 7 nov. 2018 a las 15:36
  • 1
    Parece que te redirigen en función de la geolocalización. La única solución sería usar un proxy/VPN para que evitar que detecten que la petición llega desde Colombia Commented el 7 nov. 2018 a las 15:45
  • Exacto eso es al parecer lo que sucede, a decir verdad no se muy bien como usar un proxy y menos si existe alguna forma de hacerlo con php.
    – user22090
    Commented el 7 nov. 2018 a las 15:49
  • 1
    Para usar un proxy con curl en php lo pones en CURLOPT_PROXY, hay muchas páginas donde encontrar proxys gratuitos (busca free-proxy-list por ejemplo) para probar
    – Carmen
    Commented el 7 nov. 2018 a las 15:59

1 respuesta 1

1

puedes establecer estos parametros:

CURLOPT_RETURNTRANSFER => 1
CURLOPT_FOLLOWLOCATION => 0
3
  • Si el paramtetro CURLOPT_RETURNTRANSFER esta en true, para el CURLOPT_FOLLOWLOCATION que aunque esta ahora en true ya tenia el valor false y aun así sigo obteniendo un 301 y/o la pagina local.
    – user22090
    Commented el 7 nov. 2018 a las 15:23
  • me devuelve todo bien con los parametros mas basicos! intenta eliminando el 'content-type: application/json';
    – Bryro
    Commented el 7 nov. 2018 a las 15:36
  • Si te fijas en la función get no seteo ningún content-type, esto lo hago con la funcion post. el get se va con los parametros basicos que estan en la variable $CURL_OPTS
    – user22090
    Commented el 7 nov. 2018 a las 15:41

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.