El problema
El problema que tengo no es puntual, más bien estoy buscando aproximaciones prometedoras para ir probando y sobre todo descartar soluciones plausibles, pero posiblemente complicadas a largo plazo.
Uso R principalmente para hacer reportes (artículos, cuadernos de trabajo, guías para estudiantes, etc.) con knitr::, con salidas para html y latex.
Esto es importante aclararlo, no hago programas que se ejecutan muchas veces haciendo más o menos lo mismo. Cada producto es, digamos, un programa que se ejecuta muy de vez en cuando, pero al que tengo que dar mucho mantenimiento (correciones, etc).
El ahorro de tiempo de la investigación reproducible vs. hacer el análisis en R y después integrarlo a un documento es de una par órdenes de magnitud, pero a medida que aumenta la complejidad del modelado (p. ej. modelando clases latentes) el tiempo de ejecución de knitr:: aumenta, y llega a ser frustrante.
Por la forma en que trabajo cada bloque (chunk) de código es completamente independiente de los demás. Usualmente una serie de funciones necesarias para ir de los datos al output final, enlazadas con tuberías. Esquemáticamente algo así:
datos %>%
manipular() %>%
modelar() %>%
presentar_resultados()
Nota que quizás sea relevante:
presentar_resultados()
podría producir tablas formateadas en markdown o gráficos de ggplot2.datos
es inmutable.
En principio se trata de un problema facilmente paralelizable, pero el autor de knitr:: no parece muy interesado en darle una solución general al asunto. Recomienda que cada cuál paralelice como pueda. Estoy pensando en usar una función iterativa paralela, usando foreach o algo por el estilo, para que ejecute los bloques en paralelo y me regrese el output en una lista. Después me encargo de repartirlos por el reporte. Pero no soy programador y no sé en lo que me estoy metiendo.
Antecedentes.
He estado usando foreach()
y %dopar%
para paralelizar funciones en un contexto diferente: pasar una misma función con algún argumento diferente al mismo set de datos. Por ejemplo, para comparar soluciones de un modelo de clases latentes con distinto número de clases usaría algo así:
library(foreach)
library(doParallel)
library(poLCA) #Para LCA
registerDoParallel(4) #registro un cluster con 4 nucleos
foreach(i=1:8, .package="poLCA") %dopar% poLCA(formula, datos, nclass=i)
Sin problemas, itera sobre el vector i
y lo va pasando como argumento para nclass
. Obtengo una lista con 8 modelos con soluciones de 1 a 8 clases y reduzco 40% el tiempo de ejecución con hardware modesto.
Pero no se me ocurre como usarlo para el problema de paralelizar múltiples bloques de código.
Pero lo que quiero es más complicado: que foreach %dopar% ejecuten en paralelo:
- Funciones heterogéneas. No pasar una misma función con un argumento distinto, sino pasar funciones arbitrarias y usando tuberías.
- Que producen un output heterogéneo. En concreto, una lista con el output de cada bloque.
- Esa lista debería estar razonablemente organizado para que no sea dificilísimo sacar los elementos necesarios despues.
Un prototipo más o menos simple sería este:
datos <- data.frame(x=1:5, y=5:1, z=letters[1:5)
foo <- list(bloque1="select(datos, x) %>% mutate(x=2*x) %>% kable",
bloque2="filter(datos, x=="c")",
bloque3="ggplot(datos, aes(x=x, y=y)) +
geom_point()")
bar <- foreach(bloque=names(foo), .packages = c("tidyverse", "knitr"), .export = "datos") %dopar% eval(parse(text=foo[[bloque]]))
bar[[1]]
Funciona, pero:
Debería escribir, testear y dar mantenimiento al código dentro de la lista y dentro de comillas. Complicado si tengo que ejecutar toda la lista para probar un cambio.
eval(parse())
está desaconsejado. No me preocupa tanto porque el que va a pasar un strings como código arbitrario soy yo, pero rastrear errores sería mucho más dificil.Dudo que escale bien a paralelo, porque debería exportar todas las librerías y todos los datos a cada cluster.
Las preguntas:
¿Hay alguna manera mejor de hacerlo? Alguna librería distinta a foreach, específica para este tipo de problemas (Multiple Instruction, Single Data)
¿Es así de complicado como lo veo o me estoy complicando sólo?
¿Es razonable la aproximación con la lista de expresiones como cadenas de caracteres y eval(parse()) para todos y todas? ¿Que potenciales problemas tiene?
Solución ideal
Esta solución está fuera de mi alcance por falta de tiempo y, sobre todo, habilidades como programador.
La solución ideal no rompería mi flujo de trabajo actual. Es decir, leería un archivo .Rmd, extraería los chunks de código y buscaría un flag que indica que ese chunk es paralelizable, si lo fuera lo pasaría bien formateado^[Ignoro que sería esto] a una lista, crearía el iterador y se lo pasaría a foreach()
. También debería crear el vector de paquetes a importar por los clusters, hacerme un café y organizar la lista con el output final e insertaría el output donde estaba originalmente el chunk.
PD: No pienso complicarme para ganar 40% en tiempo de ejecución. Si esto funciona bien invertiría en hardware para sacarle provecho.
cache
de knitr?cache
de knitr, quizás me sirva para renders intermedios en los que estoy verificando formato, errores ortográficos, etc. Aviso como va la cosa. Para render final no uso semillas, los modelos que ajusto son de máxima verosimilitud y dependen de números aleatorios para los valores de inicio. Plantar la semilla abre la caja de pandora, si elijo maliciosamente los valores iniciales puedo sesgar el modelo.knitr
. PD: No te doy 10 puntos porque me privaste de una excelente justificación para comprar compu nueva...