Respuesta corta.
Usando data.table::frank()
Respuesta larga
La librería data.table
tiene algunas funciones comunes de R base en versiones rápidas. Para rank()
está frank()
, fast rank.
Hice una prueba con datos sintéticos y simples y en este caso reduce más del 40% el tiempo de ejecución, todo lo demás igual.
# Preparo los datos.
set.seed(123)
matrix(sample(1:1000000, 500000, replace =TRUE), ncol=100) -> test #Replace TRUE para que haya empates.
# Valido que den el mismo output.
all.equal(apply(test, 2, rank), apply(test, 2, data.table::frank)) #TRUE: con los argumentos por defecto hacen lo mismo
library(microbenchmark)
bencho_1core <- microbenchmark(
apply(test, 2, rank) -> con_rank,
apply(test, 2, data.table::frank) -> con_frank,
times=100)
autoplot.microbenchmark(bencho_1core)
También probé en paralelo. En tu caso comentás que estás usando parLapply
. La "lentitud" se podría atribuir a que lapply
trabaja con listas y para aplicarla sobre una matriz tiene que procesar internamente muchos cambios de estructura, verificaciones de tipos, etc. Por eso intenté con parApply
, que se supone copia el funcionamiento de apply
.
Al menos con los datos que probé y mi hardware modesto de 2 núcleos físicos hay una penalización fuerte de desempeño.
library(parallel)
cl <- makeCluster(2,type="SOCK") #Creo un cluster con dos núcleos
bencho_2core <- microbenchmark(
parApply(cl, test, 2, rank) -> con_rank_2c,
parApply(cl, test, 2, data.table::frank) -> con_frank_2c,
times=100)
stopCluster(cl)
autoplot.microbenchmark(bencho_2core)
No hice el test junto porque se me complicaba crear el cluster dentro de la llamada de microbechmark
y no quería afectar el desempeño en un hilo sobrecargando con el cluster. Pero deberían ser razonablemente comparables, sobre todo con tamaña diferencia.
Podría haber varias explicaciones:
Con datos relativamente pequeños y una función muy rápida la sobrecarga de abrir varios hilos y reunir los resultados sobrepasa la "mejora" de trabajar en paralelo. Quizás con más columnas (o filas) la cosa cambie.
Dos núcleos son poco para explotar paralelismo y necesito cambiar la compu. (Ryzen?)
Armé mal el cluster y no elegí la función óptima para este problema. Sin embargo se supone que parApply
es reemplazo directo de apply
. Se podría probar otras funciones para paralelizar.
Me llama la atención que en paralelo no solo sube la media y demás medidas, también sube mucho la dispersión. Esto empeora más las cosas.
En general y hablando de paralelismo en R hasta ahora he tenido buenos resultados aplicando soluciones en paralelo para funciones que demoran mucho en ejecutarse, por ejemplo, modelos complejos e intensivos en computación más que en memoria. En esos casos con dos núcleos reduzco el tiempo de ejecución a casi 50%. Con funciones sencillas nunca he tenido mejores resultados que usando funciones alternativas escritas directamente en c, como el caso de frank
.