3

Cuando se escriben respuestas para Stack Overflow es conveniente testear el código antes de publicarlo. En algunos casos para replicar el problema de quien pregunta tengo que instalar paquetes extra.

Yo encuentro muy útil para casos así el uso de Google Colab para rápidamente instalar los paquetes que necesite, escribir código, probarlo, y finalmente escribir una respuesta, todo sin tener que instalar nada localmente en mi ordenador. Después manualmente copio y pego el código de Colab en SO, pero eso puede introducir errores o inconsistencias.

Lo ideal sería poder desarrollar una respuesta completa y testeada en Colab y después automáticamente de algún modo "exportar" lo allí escrito para incluirlo en una respuesta de SO.

Por lo que sé en Jupyter Notebook existe un comando para exportar a markdown, ¿Hay alguna forma automática de conseguir lo mismo en Google Colab, teniendo en cuenta que allí no hay acceso al fichero .ipynb?

10
  • Hola, He mirado tu post y te comento lo siguiente:, Puedes leer este Articulo Cómo preguntar para que tu pregunta sea mejor recibida, Me parece que a tu POST le falta un Código o Ejemplo Mínimo Reproducible, Puedes leer este Articulo ejemplo mínimo verificable, También es importante que sepas que preguntas son mal vistas centro de ayuda.
    – user46896
    el 24 nov. 2021 a las 20:55
  • 1
    @Arcanis-TheOmnipotent parece que tu extensión se equivoca en este post :D. Al igual que abulafia digo que es algo bastante curioso y la respuesta es muy buena
    – Christian
    el 24 nov. 2021 a las 20:59
  • 1
    Y no, no busco que se implemente nada nuevo en SOes, por lo que no es META. Busco una solución de código python que me permita ejecutar en Colab lo necesario para que el notebook completo se convierta en un texto que pueda pegar en SOes. La respuesta muestra cómo sería ese código.
    – abulafia
    el 24 nov. 2021 a las 21:00
  • 1
    @Arcanis-TheOmnipotent Ten en cuenta que es una pregunta sobre programación, pues estoy pidiendo una receta de código. Y la respuesta ciertamente tiene poco de meta (aunque la pregunta quizás lo parezca)
    – abulafia
    el 24 nov. 2021 a las 21:11
  • 1
    @Arcanis-TheOmnipotent NO es una propuesta de una nueva característica, es simplemente una forma de agilizar el trabajo de responder preguntas para python
    – Christian
    el 24 nov. 2021 a las 21:11

1 respuesta 1

3

Un Notebook Jupyter puede convertise en markdown, mediante el comando:

$ jupyter nbconvert nombre_del_notebook.ipynb --to=markdown

El resultado es un fichero de extensión .md bastante parecido a lo que se indicaba en la pregunta. En ese fichero las celdas de texto se han convertido a markdown (compatible con el usado por Stack Overflow), las celdas de código se han volcado tal cual pero delimitadas por el triple tick (```) que hace que se vean correctamente en Stack Overflow, y las salidas de las celdas (el output) se muestra tal cual pero indentado cuatro espacios, lo que causará que Stack Overflow las muestre también como código.

El problema es que este comando se debe ejecutar desde línea de comandos, lo que obliga a tener instalado Jupyter (y a descargarse previamente desde Colab el cuaderno que se quiera exportar).

El problema con Colab

Colab tiene una arquitectura un poco peculiar. Un cuaderno Jupyter es por un lado un fichero (típicamente de extensión .ipynb), pero por otro lado es algo más que un archivo, pues está "vivo" (se le puede añadir código, se puede ejecutar y ver el resultado). Para posibilitar lo segundo es necesario una máquina en la que se ejecute un intérprete Python (lo que Jupyter llama el kernel de ejecución), que recibe los contenidos de la celda a ejecutar y devuelve el resultado.

Google Colab separa por un lado el almacén del fichero .ipynb (que se guarda en la unidad de Google Drive del usuario) y por otro la ejecución del .ipynb (que ocurre en una máquina virtual que Google arranca y que contiene preinstalado python, un kernel de ejecución Jupyter, y montones de paquetes científicos típicos). Esa máquina virtual es "efímera" (si no la usas en un tiempo se destruye), pero mientras existe puedes instalar cosas en ella y tiene su propio sistema de archivos. Y cuando vuelves a abrir el cuaderno, si la máquina se había apagado, se creará una nueva otra vez.

Desde un cuaderno Jupyter se pueden ejecutar comandos "de sistema" precedidos por un !, en el caso de Colab y estos comandos son ejecutados en la máquina virtual antes descrita.

De modo que podríamos pensar que el comando jupyter antes mostrado también podría ejecutarse desde el propio notebook, poniendo en una celda:

!jupyter nbconvert nombre_del_notebook.ipynb --to=markdown

Pero el problema es que el fichero .ipynb no está en el disco de la máquina virtual (o al menos no está en ninguna carpeta accesible desde el propio cuaderno), sino que está almacenado en Google Drive, lo que complica las cosas.

La solución

Es necesario insertar una celda que mediante código Python se permita la conexión entre el notebook y el Google Drive, para transferir una copia del .ipynb del Drive a la máquina virtual desde la cual ya se podrá ejecutar el comando !jupyter nbconvert.

El siguiente código (cuyo funcionamiento explicaré a continuación) haría todo lo necesario:

# IGNORE
# @title Generate Stack Overflow text
notebook_name = "Pruebas.ipynb"

from pydrive.auth import GoogleAuth
from pydrive.drive import GoogleDrive
from google.colab import auth
from oauth2client.client import GoogleCredentials

# Conexión con Drive
auth.authenticate_user()
gauth = GoogleAuth()
gauth.credentials = GoogleCredentials.get_application_default()
drive = GoogleDrive(gauth)

# Descarga del notebook
file_id = drive.ListFile({'q': f"title='{notebook_name}' and trashed=false"}).GetList()[0].attr["metadata"]["id"]
downloaded = drive.CreateFile({'id': file_id})
with open(notebook_name, "w") as f:
  f.write(downloaded.GetContentString())

# Conversión a markdown
txt = !jupyter nbconvert {notebook_name} --to=markdown --RegexRemovePreprocessor.patterns="['^# IGNORE', '^\s+$']" --stdout
txt = "\n".join(txt[1:])
print(txt)
  • La primera línea con # IGNORE, aunque es un comentario, está ahi para evitar que esta celda forme parte también del markdown resultante, como luego veremos.

  • La línea con # @title es para que esta celda sea "colapsable" en Colab, de modo que no veamos su código (haciendo doble click en el título de la celda), lo que deja el libro más limpio.

  • La asignación notebook_name = "Pruebas.ipynb" debe cambiarse por el nombre del notebook Colab que se quiera convertir (puede ser el mismo que contiene esta celda, u otro).

  • La parte que dice "Conexión con Drive" causará que al ejecutarse aparezca una URL a la que el usuario debe conectar, lo que le llevará a la autorización OAuth2 que otorgará a este notebook permisos para acceder a Drive. Desde esa página obtendrá un código que debe después pegar en un input para proseguir. Una vez hecho eso, y mientras este notebook no se cierre, no se le volverá a pedir esta autorización. Esta celda podrá ejecutarse varias veces si se realizan modificaciones en el notebook y se quiere obtener la nueva versión markdown. Sólo la primera vez es necesaria la autenticación.

  • La parte que dice "Descarga del notebook" se ocupa de buscar en Drive el documento con el nombre que hayamos asignado en notebook_name, y descargarlo a la máquina virtual en la que se está ejecutando el kernel de este cuaderno.

  • Finalmente se ejecuta el comando jupyter nbconvert en esa máquina virtual, con las opciones adecuadas para generar el markdown deseado, y omitir las celdas que comiencen por # IGNORE. El resultado de esa conversión se envía a la salida estándar (opción --stdout) de la que es capturada por el cuaderno para almacenarlo en la variable txt.

  • Dicha variable es una lista de cadenas, siendo cada cadena cada una de las líneas que el comando haya producido. La primera de esas líneas es un mensaje de nbconvert, que no forma parte realmente del resultado, por lo que la saltamos, y las restantes las concatenamos con saltos de línea. Finalmente imprimimos txt

El resultado de todo lo anterior es que como salida de esta celda se muestra la versión markdown del cuaderno. Ese texto está listo para copiar (Ctrl+A para seleccionarla, Ctrl+C para copiarla) y pegarla en SOes (Ctrl+V).

Advertencias

Algunas cosas no funcionan directamente:

  • Colab admite texto matemático en el markdown, usando sintaxis LaTeX. Cuando se copia y pega en SOes se mantiene la sintaxis LaTeX, pero no la versión "procesada" (SOes no tiene un procesador para LaTeX para que se visualice correctamente)
  • Algunas celdas de Colab pueden producir gráficos. Al convertirlo en markdown éstos son sustituidos por enlaces tipo ![asi](fichero.png) que no funcionarán correctamente en SOes. Los gráficos deben copiarse y pegarse por separado en SOes.
  • Algunas celdas de Colab producen tablas (por ejemplo pandas). Al convertirlas a markdown se renderizan como HTML, el cual no es admitido por SOes. Hay que tener precaución de usar en esas celdas print(df) (en lugar de simplemente df) para que la salida sea ASCII en vez de una tabla HTML.
  • Si la celda que hace la conversión a Markdown forma parte del cuaderno que se quiere convertir, hay que tener la precaución de borrar la salida de ejecuciones anteriores de dicha celda, y de guardar (Ctrl+S) el cuaderno antes de ejecutarla de nuevo (para que la copia en Drive se actualice en ese momento).

Demo

La siguiente imagen muestra un cuaderno de ejemplo tal como se ve en Colab:

Cuaderno

La última celda de ese cuaderno contiene el código antes explicado. Al ejecutar esa celda, produce el siguiente output, que es el contenido del cuaderno en markdown, listo para copiar y pegar:


## Ejemplo

Esta celda contiene **markdown**, y es _una prueba de concepto_.

Ahora una lista sin numerar

* Primer elemento
* Segundo

Fin de la celda markdown.


```python
# Esta ya es una celda de código
for i in range(10):
  print(2**i)
```

    1
    2
    4
    8
    16
    32
    64
    128
    256
    512


Un ejemplo que muestra una gráfica


```python
import pandas as pd
import random

_ = pd.DataFrame({"Ejemplo": [random.random() for _ in range(100)]}).plot()
```


![png](Pruebas_files/Pruebas_3_0.png)


Un ejemplo que muestra una tabla (usando `print()` para evitar la salida HTML)


```python
df = pd.DataFrame({"Fruta": ["Manzana", "Naranja", "Piña"], 
              "Precio": [12, 15, 30]})
print(df)
```

         Fruta  Precio
    0  Manzana      12
    1  Naranja      15
    2     Piña      30

Si copio y pego ese texto en SOes, tendré que editar a mano la línea que contenía la imagen, que decía:

![png](Pruebas_files/Pruebas_3_0.png)

y poner en su lugar la imagen que puedo copiar y pegar directamente desde la celda que la produjo.

El resultado sería el siguiente:


Ejemplo

Esta celda contiene markdown, y es una prueba de concepto.

Ahora una lista sin numerar

  • Primer elemento
  • Segundo

Fin de la celda markdown.

# Esta ya es una celda de código
for i in range(10):
  print(2**i)
1
2
4
8
16
32
64
128
256
512

Un ejemplo que muestra una gráfica

import pandas as pd
import random

_ = pd.DataFrame({"Ejemplo": [random.random() for _ in range(100)]}).plot()

png

Un ejemplo que muestra una tabla (usando print() para evitar la salida HTML)

df = pd.DataFrame({"Fruta": ["Manzana", "Naranja", "Piña"], 
              "Precio": [12, 15, 30]})
print(df)
     Fruta  Precio
0  Manzana      12
1  Naranja      15
2     Piña      30

9
  • Un último detalle. Me hubiera gustado que el resultado de la conversión a Markdown se copiara automáticamente al portapapeles, evitando el tener que volcarlo como resultado, y el tener que seleccionarlo con Ctrl+A y copiarlo con Ctrl+C. Sin embargo no es posible acceder al portapapeles del sistema (ni siquiera al del navegador) desde una celda de Google Colab, porque cada celda es un iframe que se ejecuta en un sandbox en el que no se permite el acceso al portapapeles...
    – abulafia
    el 24 nov. 2021 a las 20:47
  • no subas imágenes con transparencia; mira como se ve en el tema oscuro: i.imgur.com/71ie9L6.png
    – user46896
    el 24 nov. 2021 a las 21:08
  • que pasa si estas respondiendo de de MAC OS???
    – user46896
    el 24 nov. 2021 a las 21:40
  • @Arcanis-TheOmnipotent nada? python es multiplataforma, la única diferencia que podría haber al redactar una respuesta/pregunta en otro S.O. sería la forma en que se accede a los directorios, por ejemplo en vez de hacer os.litdir("c:/") haces os.listdir("home/")
    – Christian
    el 24 nov. 2021 a las 21:45
  • Suena más facil instalarse las librerias en la pc y ya. Sin embargo, supongo que algunos opinan lo contrario.
    – Dante S.
    el 26 nov. 2021 a las 11:33

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.