1

Estoy intentando desplegar una araña Scrapy a través de crontab, y no consigo que funcione. He comprobado que cron funciona bien con algunos comandos Linux, todo funciona muy bien. Cuando pongo el comando para ejecutar la araña, no funciona. He registrado el log que devuelve y lo que dice es que no encuentra scrapy. Lo he intentado creando un fichero .sh, o con el siguiente codigo:

* * * * * cd /home/pedro/Documentos/entornos/basico/basico/ && scrapy crawl <nombre araña> 

La araña devuelve directamente un csv según esta configurada. funciona lanzando la araña con la instrucción scrapy crawl <nombre araña>, y si ejecuto el código del cron anterior en consola, sin los asteriscos, también funciona. He consultado en cientos de lugares y no encuentro la razón. ¿Alguien puede ayudarme? Mil gracias por anticipado

He añadido los PATH que ma habesi comentado y sigue sin funcionar el crontab, ya no sé que hacer, la verdad. Gracias por cualquier ayuda.

FINALMENTE LO PUDE SOLUCIONAR!!! Efectivamente, tal y como me habiais dicho el problema estaba en el PATH. lo he solucionado con el comando whish scrapy y entonces he localizado la ruta exacta donde estaba scrapy, una vez indicada esta ruta antes del lanzar la araña scrapy ha funcionado. Gracias por la ayuda.

1 respuesta 1

1

Si no encuentra scrapy pero si lo puedes usar en la terminal con normalidad... tienes un problemas con los paths. Te aconsejo pongas el path completo. Suponiendo que esté en /usr/bin/scrapy pon:

* * * * * cd /home/pedro/Documentos/entornos/basico/basico/ && /usr/bin/scrapy crawl <nombre araña>

Por otro lado, si deseas seguir poniendo únicamente el nombre de los binarios que usas en tu crontab y no la ruta completa.... puedes declarar dentro del propio archivo la variable PATH con los que suelas usar.

Ejemplo:

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

 * * * * * cd /home/pedro/Documentos/entornos/basico/basico/ && scrapy crawl <nombre araña>

Espero que te sirva ;-)

3
  • He probado todo lo que has sugerido y no funciona, sigue diciendo los siguiente para ser exacto '/bin/sh: 1:scrapy: not found'
    – bobedano
    Commented el 16 dic. 2018 a las 12:23
  • Neoniet, gracias a tu comentario acerca de los PATH he seguido buscando y he encontrado el comando whisch para buscar la ruta absoluta donde esta instalado scrapy, finalmente era como tú decias, pero en el subdirectorio local era .local y así lo he podido solucionar. Tú orientación de donde podia estar el problema ha sido la clave.
    – bobedano
    Commented el 16 dic. 2018 a las 12:54
  • No me di cuenta de lo de localizar la ruta del binario... te habría comentado de hacer locate scrapy | grep bin;-)
    – Neoniet
    Commented el 16 dic. 2018 a las 17:44

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.