0

Entiendo que el procedimiento debe tener en cuenta varios pasos, yo lo haría así:

Pasos:

  1. Verificar que exista robots.txt

1.1 No existe

1.1.1 Pruebo si existe el sitemap en las rutas convencionales /sitemap.xml o 1_index_sitemap.xml

1.1.1.1 No se puede hallar. FIN

1.1.1.2 Se logra ubicar, se lee y se obtienen todos sus sitemap internos (.gz, etc).

1.2 Existe

1.2.1 Se recorre y se obtiene los sitemap que están allí

1.2.2 Se hace una petición a cada uno y se recorre para ver si son urls o otros sitemaps.

1.2.2.1 Son urls - Se coge la url del sitemap y FIN

1.2.2..2 Son otros sitemap, se cogen las url de todos.

Supongo que algo así sería la lógica, ahora mismo estoy por el punto 1 y ya tengo problemas.

Mi idea consistía en hacer una petición, si la respuesta era OK cogería el fichero y procedería con los siguientes pasos, pero al intentarlo con sitios que no tienen robots.txt me devuelve html (los sitios muestran el aviso de que no se encuentra lo que estamos buscando.

¿Cómo puedo hacer algo que sea efectivo para determinar si robots.txt existe o no?

¿Se le ocurre alguna idea más simple para obtener los sitemap de un sitio web?

Aquí les dejo el código actual.

function get_data($url)
{
    $ch = curl_init();
    $timeout = 5;
    curl_setopt($ch,CURLOPT_URL,$url);
    curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
    curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,$timeout);
    $data = curl_exec($ch);
    if(!curl_errno($ch)){ 
        return $data;
    }else{
        echo false; 
    }
    curl_close($ch);
}

    $robots = get_data($url);
    if(!$robots) echo "El sitio no tiene robots";
    else print_r($robots);

1 respuesta 1

1

Para determinar si robots.txt existe lo puedes hacer por medio de algo simple y verificando si se obtiene un estatus 200 para saber que se encuentra bien la direccion que se le esta proporcionando.

$laurl = curl_init();
curl_setopt($laurl, CURLOPT_URL, $url);
curl_setopt($laurl, CURLOPT_BINARYTRANSFER, 1);
curl_setopt($laurl, CURLOPT_HEADERFUNCTION, 'curlHeaderCallback');
curl_setopt($laurl, CURLOPT_FAILONERROR, 1);
curl_exec ($laurl);
$intReturnCode = curl_getinfo($laurl, CURLINFO_HTTP_CODE);
curl_close ($laurl);
if ($intReturnCode != 200 && $intReturnCode != 302 && $intReturnCode != 304):
    return false;
else:
    return true;
endif;

Y con esto evitas que se te regrese el html si la dirección no funciona entonces no te retorna nada, de lo contrario retornas el archivo.

3
  • ¿cómo puedo coger las N urls de los sitemap.xml dentro del fichero robots.txt?
    – Carlos
    Commented el 1 mar. 2019 a las 9:01
  • Haciendo uso de file_get_contents() y utilizando una expresion regular para obtener solo las urls. Commented el 3 mar. 2019 a las 16:40
  • Hice algo más complejo, cuando esté terminado lo subiré.
    – Carlos
    Commented el 4 mar. 2019 a las 10:59

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.