5

Necesito enlazar dos contenedores, mi contenedor principal contiene django y el secundario tensorflow, estoy creando los dos contenedores con docker-compose, los dos se crean correctamente, pero necesito entrar al contenedor con django y al correr python poder hacer un import tensorflow as tf dentro del contenedor con django, ya que el proyecto que voy a correr en el contenedor de django utilizar tensorflow, pero he tenido problemas para crear un contenedor que tenga django y tensorflow, por esa razón estoy creando dos contenedores pero necesito enlazarlos para poder usar tensorflow en el proyecto con django.

Este es mi Dockerfile base de python3

 FROM python:3
 MAINTAINER Eduardo Barrios
 ENV PYTHONUNBUFFERED 1
 RUN mkdir /code
 WORKDIR /code
 ADD requirements.txt /code/     
 RUN pip install -r requirements.txt
 ADD . /code/

Mi archivo de requirements.txt

 Django==2.1
 psycopg2
 numpy
 opencv-python
 opencv-contrib-python

Y el docker-compose.yml

 version: '3'

 services:
   web:  
     image: ebarrioscode/django_python
     container_name: django_python
     build: .
     command: python manage.py runserver 0.0.0.0:8081
     volumes:
       - .:/code
     ports:
       - "8081:8081"   
     depends_on:
       - tensorflow
     links:
       - tensorflow
       - tensorflow:8888

   tensorflow:
     image: tensorflow/tensorflow:1.0.0-gpu
     container_name: tensorflow_python
     ports:
       - 8888:8888

Actualización

He cambiado mi dockerfile y docker-compose ahora solo utilizo un contenedor el cuál contiene tensorflow e instalo mendiante pip o RUN pip install django en el Dockerfile, la manera para iniciar el proyecto django dentro del container es accediendo al contenedor y desde adentro hacer un python manage.py runserver 0.0.0.0:8081.

Estoy exponiendo el puerto 8081 en el Dockerfile para que por este puerto salga mi aplicación django, también se expone este puerto en el docker-compose.yml

Así quedo mi Dockerfile

 FROM nvidia/cuda:8.0-devel-ubuntu16.04
 MAINTAINER Eduardo Barrios

 COPY ./keyboard /etc/default/keyboard
 RUN apt-get update 

 RUN pip install --upgrade python
 RUN apt-get --yes --force-yes install python-pip
 RUN pip install numpy
 RUN pip install scipy
 RUN pip install plotly
 RUN pip install tflearn
 RUN apt-get install python-opencv -y
 RUN apt-get update
 RUN pip install 
 https://storage.googleapis.com/tensorflow/linux/gpu/tensorflow_gpu-1.0.0-cp27- 
none-linux_x86_64.whl
 RUN python -m pip install jupyter
 RUN pip install django

 ENV CUDA_VERSION 8.0.61

 ENV CUDA_PKG_VERSION 8-0=$CUDA_VERSION-1
 RUN apt-get update && apt-get install -y --no-install-recommends \
    cuda-nvrtc-$CUDA_PKG_VERSION \
    cuda-nvgraph-$CUDA_PKG_VERSION \
    cuda-cusolver-$CUDA_PKG_VERSION \
    cuda-cublas-8-0=8.0.61.2-1 \
    cuda-cufft-$CUDA_PKG_VERSION \
    cuda-curand-$CUDA_PKG_VERSION \
    cuda-cusparse-$CUDA_PKG_VERSION \
    cuda-npp-$CUDA_PKG_VERSION \
    cuda-cudart-$CUDA_PKG_VERSION && \
ln -s cuda-8.0 /usr/local/cuda && \
rm -rf /var/lib/apt/lists/*


 LABEL com.nvidia.volumes.needed="nvidia_driver"
 LABEL com.nvidia.cuda.version="${CUDA_VERSION}"

 RUN echo "/usr/local/nvidia/lib" >> /etc/ld.so.conf.d/nvidia.conf && \
     echo "/usr/local/nvidia/lib64" >> /etc/ld.so.conf.d/nvidia.conf

 ENV PATH /usr/local/nvidia/bin:/usr/local/cuda/bin:${PATH}
 ENV LD_LIBRARY_PATH /usr/local/nvidia/lib:/usr/local/nvidia/lib64

 EXPOSE 6006
 EXPOSE 8081 
 EXPOSE 8886 
 EXPOSE 8888

 CMD jupyter notebook --ip=0.0.0.0 --port=8888 --allow-root

Así quedo el archivo docker-compose.yml

 version: '3'

 services:
   djangotf:
     image: ebarrioscode/tensorflow
     container_name: ia_project
     build: .
     volumes:
       - ./files:/notebooks
     ports:
       - "8081:8081"
       - "8888:8888"

El proyecto ya funciona tuve algunos problemas con el puerto 8081 pero se resuelve borrando la imagen generada anteriormente ya que está se almacena en caché y hace que la etapa del build sea más rápida, pero esto me generaba errores al exponer el puerto 8081.

6
  • Hola @abulafia gracias por tu respuesta, voy a intentar la primera opción que me das, la segunda parece ser compleja, te comento que he intentado crear un contenedor con base en python:3 y django y luego he tratado de instalar mediante pip tensorflow pero he tenido muchos errores el 6 ago. 2018 a las 19:22
  • 1
    Creo que deberías editar la pregunta y añadir un apartado "Actualización" en el que expliques qué has hecho a raíz de estos comentarios, cómo es actualmente tu Dockerfile y tu docker-compose y qué problema te estás encontrando ahora. Después puedes borrar todos estos comentarios para "limpiar".
    – abulafia
    el 7 ago. 2018 a las 9:02
  • 1
    Gracias por sus comentarios muchachos, he agregado la actualización y el cambio en los archivos que generaban el problema, también borrado los comentarios. el 7 ago. 2018 a las 14:33
  • 1
    @EduardoBarrios Entonces ¿ya funciona todo? ¿Pregunta resuelta?
    – abulafia
    el 7 ago. 2018 a las 14:45
  • 1
    @abulafia claro ya funciona todo, gracias por tu ayuda el 7 ago. 2018 a las 15:36

1 respuesta 1

2

Aunque esto es más bien un comentario, es demasiado largo para ponerlo como tal y por tanto lo escribo en una respuesta.

El fichero Dockerfile que muestras en la actualización no es muy eficiente, porque contiene muchos comandos RUN. Cada comando RUN da lugar a una nueva capa en la imagen final. El número total de capas es limitado por lo que en general es buena idea minimizar el número de ellas, y es por eso que suelen verse muchos comandos separados por && en un solo RUN.

En el caso de instalar paquetes python, la técnica habitual es escribir un archivo llamado requirements.txt que contenga los nombres de los paquetes a instalar (uno por línea), y si mejor aún si especifica las versiones concretas de cada paquete (si ya lo tenías todo instalado localmente en un entorno virtual, el comando pip freeze puede servirte para obtener la lista de paquetes instalados y sus versiones, y de este modo te aseguras de que la imagen del contenedor será 100% compatible con la que tu usaste aunque sea creada en otro momento en que hayan salido versiones nuevas).

El RUN apt-get update que has añadido se repite más adelante. Yo juntaría todos los apt en un solo RUN, poniéndolos delante de los pip install.

Por último, si no quieres tener que entrar en el contenedor a lanzar "a mano" el servidor django, podrías crear (fuera del contenedor) un archivo lanzar-todo.sh que contenga las dos líneas siguientes:

jupyter notebook --ip=0.0.0.0 --port=8888 --allow-root
python manage.py runserver 0.0.0.0:8081

y copiar ese archivo al contenedor para lanzarlo en el CMD final. En definitiva, el Dockerfile quedaría así:

FROM nvidia/cuda:8.0-devel-ubuntu16.04
MAINTAINER Eduardo Barrios

COPY ./keyboard /etc/default/keyboard
COPY ./requirements.txt /
COPY ./lanzar-todo.sh /

# Instalar primero cuda
RUN apt-get update && \
    apt-get install -y --no-install-recommends \
    cuda-nvrtc-$CUDA_PKG_VERSION \
    cuda-nvgraph-$CUDA_PKG_VERSION \
    cuda-cusolver-$CUDA_PKG_VERSION \
    cuda-cublas-8-0=8.0.61.2-1 \
    cuda-cufft-$CUDA_PKG_VERSION \
    cuda-curand-$CUDA_PKG_VERSION \
    cuda-cusparse-$CUDA_PKG_VERSION \
    cuda-npp-$CUDA_PKG_VERSION \
    cuda-cudart-$CUDA_PKG_VERSION && \
    ln -s cuda-8.0 /usr/local/cuda && \
    rm -rf /var/lib/apt/lists/*

ENV CUDA_VERSION 8.0.61
ENV CUDA_PKG_VERSION 8-0=$CUDA_VERSION-1

LABEL com.nvidia.volumes.needed="nvidia_driver"
LABEL com.nvidia.cuda.version="${CUDA_VERSION}"

RUN echo "/usr/local/nvidia/lib" >> /etc/ld.so.conf.d/nvidia.conf && \
    echo "/usr/local/nvidia/lib64" >> /etc/ld.so.conf.d/nvidia.conf

ENV PATH /usr/local/nvidia/bin:/usr/local/cuda/bin:${PATH}
ENV LD_LIBRARY_PATH /usr/local/nvidia/lib:/usr/local/nvidia/lib64

# Instalar después python
RUN apt-get update && apt-get install --yes --force-yes \
    python-opencv python-pip  && \
    rm -rf /var/lib/apt/lists/*

# Instalar todos los paquetes python necesarios (django, etc)
RUN pip install -r /requirements.txt

# Exponer puertos
EXPOSE 6006
EXPOSE 8081
EXPOSE 8886
EXPOSE 8888

# Lanzar jupyter y django
CMD /lanzar-todo.sh

Por otro lado, ya que partes de una imagen base que ya trae instalado cuda, no sé hasta qué punto es necesario toda la parte que instala y configura cuda.

3
  • No había pensado en eso, tienes toda la razón lo voy a cambiar para que sea más eficiente, gracias @abulafia el 7 ago. 2018 a las 15:38
  • Lo he cambiado pero me da un erro al llegar a # Instalar después python el error es E: Unable to locate package install E: Unable to locate package python-opencv E: Unable to locate package python-pip el 7 ago. 2018 a las 16:57
  • @EduardoBarrios El install sobraba. No entiendo en cambio por qué no encuentra los otros paquetes. Acabo de modificar la respuesta para añadir un apt-get update antes, pero yo entiendo que no era necesario pues ya lo habíamos hecho en un RUN anterior...
    – abulafia
    el 7 ago. 2018 a las 17:00

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.