4

El problema

El problema que tengo no es puntual, más bien estoy buscando aproximaciones prometedoras para ir probando y sobre todo descartar soluciones plausibles, pero posiblemente complicadas a largo plazo.

Uso R principalmente para hacer reportes (artículos, cuadernos de trabajo, guías para estudiantes, etc.) con knitr::, con salidas para html y latex.

Esto es importante aclararlo, no hago programas que se ejecutan muchas veces haciendo más o menos lo mismo. Cada producto es, digamos, un programa que se ejecuta muy de vez en cuando, pero al que tengo que dar mucho mantenimiento (correciones, etc).

El ahorro de tiempo de la investigación reproducible vs. hacer el análisis en R y después integrarlo a un documento es de una par órdenes de magnitud, pero a medida que aumenta la complejidad del modelado (p. ej. modelando clases latentes) el tiempo de ejecución de knitr:: aumenta, y llega a ser frustrante.

Por la forma en que trabajo cada bloque (chunk) de código es completamente independiente de los demás. Usualmente una serie de funciones necesarias para ir de los datos al output final, enlazadas con tuberías. Esquemáticamente algo así:

datos %>%
  manipular() %>%
  modelar() %>%
  presentar_resultados()

Nota que quizás sea relevante: presentar_resultados() podría producir tablas formateadas en markdown o gráficos de ggplot2. datos es inmutable.

En principio se trata de un problema facilmente paralelizable, pero el autor de knitr:: no parece muy interesado en darle una solución general al asunto. Recomienda que cada cuál paralelice como pueda. Estoy pensando en usar una función iterativa paralela, usando foreach o algo por el estilo, para que ejecute los bloques en paralelo y me regrese el output en una lista. Después me encargo de repartirlos por el reporte. Pero no soy programador y no sé en lo que me estoy metiendo.

Antecedentes.

He estado usando foreach() y %dopar% para paralelizar funciones en un contexto diferente: pasar una misma función con algún argumento diferente al mismo set de datos. Por ejemplo, para comparar soluciones de un modelo de clases latentes con distinto número de clases usaría algo así:

library(foreach)
library(doParallel) 
library(poLCA)  #Para LCA  
registerDoParallel(4) #registro un cluster con 4 nucleos 
foreach(i=1:8, .package="poLCA") %dopar% poLCA(formula, datos, nclass=i) 

Sin problemas, itera sobre el vector i y lo va pasando como argumento para nclass. Obtengo una lista con 8 modelos con soluciones de 1 a 8 clases y reduzco 40% el tiempo de ejecución con hardware modesto. Pero no se me ocurre como usarlo para el problema de paralelizar múltiples bloques de código.

Pero lo que quiero es más complicado: que foreach %dopar% ejecuten en paralelo:

  1. Funciones heterogéneas. No pasar una misma función con un argumento distinto, sino pasar funciones arbitrarias y usando tuberías.
  2. Que producen un output heterogéneo. En concreto, una lista con el output de cada bloque.
  3. Esa lista debería estar razonablemente organizado para que no sea dificilísimo sacar los elementos necesarios despues.

Un prototipo más o menos simple sería este:

datos <- data.frame(x=1:5, y=5:1, z=letters[1:5)
foo <- list(bloque1="select(datos, x) %>% mutate(x=2*x) %>% kable", 
            bloque2="filter(datos, x=="c")", 
            bloque3="ggplot(datos, aes(x=x, y=y)) + 
                            geom_point()")
bar <- foreach(bloque=names(foo), .packages = c("tidyverse", "knitr"), .export = "datos") %dopar% eval(parse(text=foo[[bloque]])) 
bar[[1]]  

Funciona, pero:

  1. Debería escribir, testear y dar mantenimiento al código dentro de la lista y dentro de comillas. Complicado si tengo que ejecutar toda la lista para probar un cambio.

  2. eval(parse()) está desaconsejado. No me preocupa tanto porque el que va a pasar un strings como código arbitrario soy yo, pero rastrear errores sería mucho más dificil.

  3. Dudo que escale bien a paralelo, porque debería exportar todas las librerías y todos los datos a cada cluster.

Las preguntas:

¿Hay alguna manera mejor de hacerlo? Alguna librería distinta a foreach, específica para este tipo de problemas (Multiple Instruction, Single Data)

¿Es así de complicado como lo veo o me estoy complicando sólo?

¿Es razonable la aproximación con la lista de expresiones como cadenas de caracteres y eval(parse()) para todos y todas? ¿Que potenciales problemas tiene?

Solución ideal

Esta solución está fuera de mi alcance por falta de tiempo y, sobre todo, habilidades como programador.

La solución ideal no rompería mi flujo de trabajo actual. Es decir, leería un archivo .Rmd, extraería los chunks de código y buscaría un flag que indica que ese chunk es paralelizable, si lo fuera lo pasaría bien formateado^[Ignoro que sería esto] a una lista, crearía el iterador y se lo pasaría a foreach(). También debería crear el vector de paquetes a importar por los clusters, hacerme un café y organizar la lista con el output final e insertaría el output donde estaba originalmente el chunk.

PD: No pienso complicarme para ganar 40% en tiempo de ejecución. Si esto funciona bien invertiría en hardware para sacarle provecho.

5
  • Hola @mpaladino, en cada compilación de los .Rmd que tienes es el mismo resultado? O sea, no tienes por ninguna parte alguna simulación sin semilla? Te sirve el approach de usar la la opción cache de knitr?
    – jbkunst
    el 16 jul. 2017 a las 20:10
  • Hola @jbkunst. Gracias por el dato, voy a explorar el funcionamiento del cache de knitr, quizás me sirva para renders intermedios en los que estoy verificando formato, errores ortográficos, etc. Aviso como va la cosa. Para render final no uso semillas, los modelos que ajusto son de máxima verosimilitud y dependen de números aleatorios para los valores de inicio. Plantar la semilla abre la caja de pandora, si elijo maliciosamente los valores iniciales puedo sesgar el modelo.
    – mpaladino
    el 16 jul. 2017 a las 20:59
  • Hola mpaladino, es interesante tu pregunta, creo que tu aproximación al problema puede ser válida pero va a depender de la complejidad de cada "chunk", no es un tema trivial. . De todas formas, el consejo de @jbkunst va a mejorar tu workflow de manera significativa. el 17 jul. 2017 a las 3:18
  • @jbkunst. Funciona bastante bien, al menos puedo cachear la carga de datos y en algunos casos el modelado. Va muy bien para corregir la parte de texto en un draft. Tiene sus propios problemitas, pero sigue siendo mucho más simple que la alternativa que pensaba. Si la pasás el comentario a respuesta la acepto, es una forma válidad de acelerar el render de knitr. PD: No te doy 10 puntos porque me privaste de una excelente justificación para comprar compu nueva...
    – mpaladino
    el 17 jul. 2017 a las 16:28
  • @mpaladino, que bueno que sirvió! Bueno, si no te la compras tu, intentaré hacer un código leeeento para comprármela yo ;). Saludos
    – jbkunst
    el 18 jul. 2017 a las 2:54

1 respuesta 1

3

Una alternativa que puede acelerar el render es usar la opción cache de knitr:

knitr::opts_chunk$set(cache = TRUE)

Fuente oficial: https://yihui.name/knitr/options#cache

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.