Entiendo que el procedimiento debe tener en cuenta varios pasos, yo lo haría así:
Pasos:
- Verificar que exista robots.txt
1.1 No existe
1.1.1 Pruebo si existe el sitemap en las rutas convencionales /sitemap.xml o 1_index_sitemap.xml
1.1.1.1 No se puede hallar. FIN
1.1.1.2 Se logra ubicar, se lee y se obtienen todos sus sitemap internos (.gz, etc).
1.2 Existe
1.2.1 Se recorre y se obtiene los sitemap que están allí
1.2.2 Se hace una petición a cada uno y se recorre para ver si son urls o otros sitemaps.
1.2.2.1 Son urls - Se coge la url del sitemap y FIN
1.2.2..2 Son otros sitemap, se cogen las url de todos.
Supongo que algo así sería la lógica, ahora mismo estoy por el punto 1 y ya tengo problemas.
Mi idea consistía en hacer una petición, si la respuesta era OK cogería el fichero y procedería con los siguientes pasos, pero al intentarlo con sitios que no tienen robots.txt me devuelve html (los sitios muestran el aviso de que no se encuentra lo que estamos buscando.
¿Cómo puedo hacer algo que sea efectivo para determinar si robots.txt existe o no?
¿Se le ocurre alguna idea más simple para obtener los sitemap de un sitio web?
Aquí les dejo el código actual.
function get_data($url)
{
$ch = curl_init();
$timeout = 5;
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,$timeout);
$data = curl_exec($ch);
if(!curl_errno($ch)){
return $data;
}else{
echo false;
}
curl_close($ch);
}
$robots = get_data($url);
if(!$robots) echo "El sitio no tiene robots";
else print_r($robots);