2

Quiero hacer, usando bash, un script que verifique si existe un directorio dentro de un sitio web. Por ejemplo, algo similar a esto, pero no logro conseguir que me de una respuesta correcta. Estoy utilizando curl como software raíz, la verdad no tengo idea si es adecuado hacerlo así o también se podría hacer con wget

Éste es el codigo que tengo:

#defino la variable con el PATH
pagina="facundosalgado.com/asd3"

#Verificar PATH
resultado=$(curl --silent $pagina)

#intento preguntar con un IF 

if [ "$resultado" = "Not Found" ] || [ "$resultado" = "The requested URL was not found on this server" ]
then
echo -e "$rojo Pagina no encontrada"
else
echo -e "$verde PAGINA FOUND"
fi

La realidad es que no me arroja la respuesta correcta, si el directorio en el sitio WEB existe, me muestra como que no y viceversa, no me doy una idea de como podría hacerlo mejor al código para que cumpla esta función, ¿alguien me ayudaría?

3
  • La comparación de cadenas con test en bash es con -eq. Algo como if [ "$resultado" -eq "not found" ] . Revisa tus condicionales
    – Jakala
    Commented el 18 sept. 2020 a las 21:59
  • 1
    @Jakala el programa test en bash para comparar cadenas de texto utiliza el operador = o ==. El operador -eq es para comparar valores numéricos (valores enteros en cualquier representación). Saludos Commented el 19 sept. 2020 a las 13:56
  • Cierto. Mis disculpas. Por alguna razón pensé que quería comparar números.
    – Jakala
    Commented el 19 sept. 2020 a las 14:51

1 respuesta 1

3

PROBLEMA

El problema va más allá de simplemente consultar una página para determinar si la ruta existe o no existe. Hay todo un tema de configuración de servidores que te hacen la tarea casi imposible de no saber exactamente el comportamiento del mismo.

Por ejemplo, hay servidores que al no existir la ruta simplemente redirigen al cliente a otra página, tal es el caso de la dirección que indicas en tu pregunta, y el código de estado de la respuesta es 301. Otros servidores simplemente envían una página de error y lo notifican con un código de estado 404.

Además está el tema de si la solicitud es http o https. Dependiendo de la configuración del servidor la misma puede ser respondida o todo el tráfico al puerto 80 (http) es redirigido al puerto 443 (https), de esta forma el código de estado enviado para una solicitud http que es redireccionada a https puede ser 301, o puede ser 200 o puede ser 404 ( o incluso cualquier otro valor). Como dije en un principio, todo esto dependerá de la configuración del servidor.

En un mundo ideal, si una ruta no existe, el servidor nos lo informará con un código 404 y si la ruta existe, nos lo informará con un código 200.

SOLUCIÓN (ver edición al final)

Lo que se me ocurre que puedes intentar es leer el código de estado devuelto por el servidor y decidir de acuerdo al resultado obtenido. La ruta existirá si el resultado es 200, la ruta no existirá con un resultado 404. El resto de códigos de estado de respuesta serían no determinantes para saber si una ruta existe o no.

En tu aproximación tienes lo siguiente:

pagina="facundosalgado.com/asd3"
resultado=$(curl --silent $pagina)

Si bien con curl puedes consultar un sitio web, el protocolo por defecto que se utiliza es http (cuando curl no puede determinar el protocolo a partir de la URL). Si la página que estás consultando hace una redirección de http a https, es muy probable que el código de respuesta sea 301, lo cual no te dice si la ruta existe o no. Entonces debemos tratar de ser explícitos en la solicitud. Por ejemplo:

pagina="https://facundosalgado.com/asd3" # indico protocolo https

Aún así, al consultar esta dirección obtenemos un código de redirección 301. Esto sucede porque nuestra variable pagina sólo está contemplando el nombre del dominio y no la dirección URL completa. Por lo tanto, debemos usar la dirección URL completa para realizar la consulta:

pagina="https://www.facundosalgado.com/asd3" # indico protocolo https y URL completa

Con este ligero cambio, obtenemos un resultado diferente de 301.

¿Cómo obtener el código de estado en una solicitud curl?

Podemos realizar una petición sencilla con curl, usando el modificador -I, la cual nos devuelve solamente las cabeceras, y a partir de las mismas obtener el código de estado.

Todo mensaje de respuesta http / https bien formada comienza con una cabecera (primera linea) que indica el protocolo, el código de estado y (dependiendo del protocolo) un mensaje relativo al código de estado.

Entonces, a partir de esto podemos construir el siguiente comando:

resultado=$(curl -s -I $pagina | head -n 1)
echo $resultado

Con este comando estamos solicitando sólo las cabeceras al servidor, luego hacemos uso de un pipe o tubería para pasar el resultado al método head y pedirle que devuelva sólo la primera linea de las cabeceras.

En el caso de tu página el resultado devuelto es:

HTTP/2 404

El servidor nos responde con un código coherente al resultado. La página o recurso solicitado no fue encontrado o no existe en el servidor.

Como sólo nos interesa la segunda palabra de la linea de resultado, podemos usar el programa awk para esta tarea, usando el comando print e indicando que queremos la segunda palabra ($2).

Por ejemplo:

resultado=$(curl -s -I $pagina | head -n 1 | awk '{print $2}')
echo $resultado

> 404

Con esto ya tenemos una forma muy básica de comprobar si una ruta existe o no. Sin embargo, tal como hemos visto hasta ahora, todo dependerá de la configuración del servidor consultado.

Comparación de cadenas (string) en bash

Para comparar cadenas en bash se puede utilizar el operador = o el operador ==. Recomiendo siempre usar == por motivos de legibilidad. Por otro lado, es preferible también usar el doble corchete [[ condicion ]] para definir nuestra sentencia condicional. Este es conocido como enhanced bracket.

Por ejemplo:

if [[ "$resultado" == "200" ]]; then
  echo "Existe"
elif [[ "$resultado" == "404" ]]; then
  echo "No existe"
else
  echo "No lo sé"
fi

De esta forma nuestro script de bash podría verse parecido al siguiente:

#!/usr/bin/env bash
pagina="https://www.facundosalgado.com/asd3"

resultado=$(curl -s -I $pagina | head -n 1 | awk  '{print $2}')

if [[ "$resultado" == "200" ]]; then
  echo "Existe"
elif [[ "$resultado" == "404" ]]; then
  echo "No existe"
else
  echo "No lo sé"
fi

Edición

Podemos decirle a curl que siga la redirección en caso que sea necesario. Para ello podemos usar el parámetro -L en la sentencia de curl, lo cual nos daría siempre el resultado de la navegación final.

Por ejemplo:

pagina="https://www.facundosalgado.com/asd3"

resultado=$(curl -s -I -L $pagina | head -n 1 | awk  '{print $2}') # usando -L en curl

echo $resultado


> 404

Y con esta edición podemos entonces usar cualquier nombre de dominio como URL, tal como lo tenías originalmente, al hacer uso de grep seguido de tail.

Por ejemplo:

pagina="facundosalgado.com/asd3"

resultado=$(curl -sIL $pagina | grep '^HTTP' | tail -1 | awk  '{print $2}')

echo $resultado

> 404

De esta forma el script se comporta tal como quieres en la ruta que has colocado en la pregunta. Por ejemplo:

#!/usr/bin/env bash

pagina="facundosalgado.com/asd3"

resultado=$(curl -sIL $pagina | grep '^HTTP' | tail -1 | awk  '{print $2}')

if [[ "$resultado" == "200" ]]; then
  echo "Existe"
elif [[ "$resultado" == "404" ]]; then
  echo "No existe"
else
  echo "No lo sé"
fi

Lo que estamos haciendo es filtrar todas las líneas que contienen al inicio los caracteres HTTP, esto lo logramos con la expresión regular '^HTTP', luego recorremos desde atrás hacia adelante usando tail y nos quedamos con la primera linea. Por último usamos awk para obtener el código.

Si mostramos una salida del resultado antes de usar tail y awk se observa:

pagina="facundosalgado.com/asd3"

resultado=$(curl -sIL $pagina | grep '^HTTP')

echo "$resultado"

> HTTP/1.1 301 Moved Permanently
> HTTP/1.1 301 Moved Permanently
> HTTP/2 404 

Nos interesa entonces la última línea ya que es el resultado final después de todas las redirecciones.

Espero que esto te ayude a solucionar el problema.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.