0

Necesito ejecutar un script que procese los datos, todos los días a una determinada hora, para ello estoy utilizando Crontab.

El problema viene cuando necesito activar mi entorno, no soy capaz de activar mi entorno de anaconda, para que se lancen los ficheros desde él.

Así es como tengo configurado rontab

30 12 * * * conda activate my_env; python /home/rubiales/data_preprocessing.py

Al no poder activar el entorno, simplemente cuando trata de lanzar el script recivo un error de importación

ModuleNotFoundError: No module named 'sklearn'

¿Alguien sabe cuál es el error que tengo en la configuración de Crontab por el cual no activa mi entorno de Anaconda?

0

1 respuesta 1

0

Puedes correr scrips con crontab como dices, pero a la hora de activar el entorno es algo más complejo, ya que surgen incompatibilidades en el bash entre anaconda y crontab. Para evitar estas incompatibilidades debemos:

1. Crear otro archivo .bashrc

Tienes que crear otro archivo ~/.bashrc que será el encargado de ejecutar anaconda con crontab, para ello:

  1. Ejecutamos en la linea de comandos nano ./bashrc aquí debes buscar un trozo de código que ha inyectado anaconda que es el encargado de hacer que funcionen sus comandos, el código será así:
# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/opt/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/home/rubiales/miniconda/etc/profile.d/conda.sh" ]; then
        . "/home/rubiales/miniconda3/etc/profile.d/conda.sh"
    else
        export PATH="/home/rubiales/miniconda3/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

(Obviamente las rutas a los paths serán distintas en cada ordenador)

Nota1: yo voy a utilizar el editor de textos nano puede usarse cualquiera

  1. Copiamos este trozo de código a otro fichero, por ejemplo podemos llamarlo .bashrc_conda, por lo que lo creamos ejecutando nano .bashrc_conda y copiando el trozo de código anterior.

  2. Una vez hemos copiado, salvamos y guardamos.

  3. Nos aseguramos con el comando lñs -lhsa de que el archivo creado puede ser leido por el usuario que lanza el crontab si no es así, podemos cambiarlo con chmod y cambiar su propiedad con chown.

2. Editar el crontab

Para finalmente evitar esta incompatibilidad, vamos a indicarle a crontab en la primera linea, que corra los archivos con el bash en vez de sh. Para ello hacemos lo siguiente

  1. Abrimos crontab con crontab -e
  2. Insertamos en las dos primeras lineas lo siguiente:
SHELL=/bin/bash
BASH_ENV=~/.bashrc_conda

Con la segunda linea indicamos que use el archivo .bashrc_conda creado previamente.

3. Creamos ejecuciones activando el entorno

Una vez hecho lo anterior, ya podemos agregar trabajos con distintos entornos a crontab, siguiendo sus reglas de uso, por ejemplo:

# momento de ejecución | activación de entorno; | uso de interprete | script a lanzar
30 12 * * * conda activate my_env; python /path/to/script.py

Explicación de por qué hay que hacer todo esto.

En Ubuntu al comienzo de tu archivo abra algo de este estilo

# If not running interactively, don't do anything
case $- in
    *i*) ;;
      *) return;;
esac

Como ya nos indica el propio archivo .bashrc en inglés:

"si no estás ejecutando de forma interactiva, no hagas nada"

Como crontab no ejecuta .bashrc de forma interactiva, cuando llega a este script, al comienzo se sale, y no inicia Anaconda por lo que no puedes usar sus comandos, por tanto el comando conda no existirá y conda activate te dará error.

Con esto hemos hecho que crontab utilice bash y ejecute nuestro trozo de código que hemos guardado en .bashrc_conda para que así Anaconda se inicie y podamos usar sus comandos.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.