1

Estoy intentando paralelizar una función bastante compleja, pero en todas las pruebas que he hecho, la versión paralela siempre tarda más que la versión en serie, incluso con las funciones más simples.

Por ejemplo,

library(doParallel)
cl<-makeCluster(detectCores()-1)
registerDoParallel(cl)
stime<-system.time({
  foreach(i=1:10) %do% sample(c("H", "T"), 10000000, replace=TRUE)
})[3]
stime

Si sustituyo %do% por %dopar%, el tiempo de ejecución pasa de 3.08 segundos a 28.98 segundos!! Es esto normal?

1
  • ¿qué hace la función? Si por ejemplo inserta en tablas (lo digo porque pone register) posiblemente estés generando bloqueos de la tabla entre unos procesos y otros. Commented el 4 ene. 2018 a las 12:45

2 respuestas 2

1

Entiendo yo es un comportamiento normal en función del tipo de instrucción que estás ejecutando. ¿Que hace sample(c("H", "T"), 10000000, replace=TRUE)? básicamente dos cosas:

  • Genera una vector de combinaciones de letras
  • Muestra por la consola el vector hasta options("max.print"), normalmente 1000

O sea estás paralelizando dos cosas, la primera es razonable, por la naturaleza de sample hace uso de cpu, la siguiente (mostrar los resultados en pantalla), no tiene sentido y ahí esta el "overhead" que observas. Siempre la salida por consola es un cuello de botella importante, n salidas de 1000 filas por consolas y procesos distintos va a demorar más que la misma opción pero en un solo proceso/consola.

Esto puedes verificarlo agregando un muy pequeño cambio en tu ejemplo:

stime<-system.time({
    foreach(i=1:10) %dopar% options(max.print = 1);sample(c("H", "T"), 10000000, replace=TRUE)
})[3]
stime

Hemos agregado un simple options(max.print = 1);, es decir la salida por consola en este caso solo tendrá un ejemplo. En mi equipo la comparación original daba: 24.07 vs 4.69 con el cambio propuesto los tiempos de las dos opciones bajan ambos a prácticamente el mismo valor en torno a 0.45". Además pareciera que sample() no es un buen ejemplo para probar la paralelización, el ejemplo que te dió Sebastian Araya en su respuesta es mejor como prueba.

Nota: Este overhead también lo tienes si haces resultados = foreach(i=1:10) %dopar% ..., mover este volumen de datos entre procesos o llevarlos a la consola siempre va a ser más costoso que generarlos en memoria.

0

¡Hola! Quede remetido con tu problema, aunque no soy un experto en R, hice las siguientes pruebas:

trials <- 10000
ptime <- system.time({
r <- foreach(icount(trials), .combine=cbind) %do% {
ind <- sample(100, 100, replace=TRUE)
}
})[3]
ptime

Me arroja 2.25s (do)

trials <- 10000
ptime <- system.time({
r <- foreach(icount(trials), .combine=cbind) %dopar% {
ind <- sample(100, 100, replace=TRUE)
}
})[3]
ptime

Me arroja 2.62s (dopar)

x <- iris[which(iris[,5] != "setosa"), c(1,5)]
trials <- 10000
ptime <- system.time({
r <- foreach(icount(trials), .combine=cbind) %do% {
ind <- sample(100, 100, replace=TRUE)
result1 <- glm(x[ind,2]~x[ind,1], family=binomial(logit))
coefficients(result1)
}
})[3]
ptime

Me arrojo 21.53s (do)

x <- iris[which(iris[,5] != "setosa"), c(1,5)]
trials <- 10000
ptime <- system.time({
r <- foreach(icount(trials), .combine=cbind) %dopar% {
ind <- sample(100, 100, replace=TRUE)
result1 <- glm(x[ind,2]~x[ind,1], family=binomial(logit))
coefficients(result1)
}
})[3]
ptime

Me arroja 11.03s (dopar)

No habiendo un uso excesivo de RAM ni CPU en ningún caso, lo único que se me ocurre es que al usar sample solo, se terminan gastando más recursos y tiempo en la asignación en múltiples CPUs, que si lo hiciera directamente un solo CPU. Probablemente sample se va ejecutando muy rápido y la asignación termina tomando más tiempo que cada ejecución, quizás incluso llegando a saturar al sistema en tu caso. ¡Saludos y suerte!

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.