1

Estoy trabajando con el paquete Clickclust, la función principal del paquete es click.EM() tiene los siguientes valores por defecto:

click.EM(X, y = NULL, K, eps = 1e-10, r = 100, iter = 5, min.beta = 1e-3,
  min.gamma = 1e-3, scale.const = 1)

La función funciona sin problemas con los parámetros por defecto en el primer ejemplo que viene incluido en el paquete:

 data("synth", package = "ClickClust")
synth$data

repl.levs <- function(x, ch.lev) {
  for (j in 1:length(ch.lev)) x <- gsub(ch.levs[j], j, x)
  return(x)
}
d <- paste(synth$data, collapse = " ")
d <- strsplit(d, " ")[[1]]
ch.levs <- levels(as.factor(d))
S <- strsplit(synth$data, " ")
S <- sapply(S, repl.levs, ch.levs)
S <- sapply(S, as.numeric); S
C <- click.read(S)
C

set.seed(123)
M2 <- click.EM(X = C$X, y = C$y, K = 2)
M2

#######################################################
K = 2, p = 5, logl = -11684.21, BIC = 23638.98
Cluster sizes:
1   2
174 76
.......

Sin embargo cuando se utiliza un set de datos más complicado como por ejemplo el que muestra al final de el ejemplo del paquete, es necesario cambiar los parámetros por defecto de la función click.EM() para que pueda ajustarse el modelo y obtener distintos cluster y un valor distinto a BIC = NaN. En el mismo paquete realizan un cambio de los parámetros por defecto como se observa a continuación:

set.seed(1234)
data("msnbc323", package = "ClickClust")
n <- length(msnbc323)
C <- click.read(msnbc323)
M1 <- click.EM(X = C$X, y = C$y, K = 1, iter = 10, r = 250,
  scale.const = 2)
M2 <- click.EM(X = C$X, y = C$y, K = 2, iter = 10, r = 250,
  scale.const = 2)
M3 <- click.EM(X = C$X, y = C$y, K = 3, iter = 10, r = 250,
  scale.const = 2)

Se observa que se cambian los valores por defecto de los parámetros iter,r y scale.const, no se explica el criterio ni la razón por la cual fueron seleccionados estos nuevos valores. Si no se cambian el modelo no puede realizar el ajuste.

Actualmente estoy trabajando con una lista de 14000 secuencias de compras que tiene un tamaño entre 100 y 1000 elementos cada una con 20 estados, para poder ajustar de manera correcta el modelo tendría que probar una gran cantidad de valores en los distintos parámetros.

Existe alguna manera de obtener los valores óptimos en los parámetros ?

1 respuesta 1

0

Bienvenido Rafael.

No conozco en profundidad a Clickclust, pero por lo que se ve es una implementación de un modelo de mixtura finita de los que en ciencias sociales llamamos de transición latente. Esos los conozco mejor.

Es esperable que al aumentar la complejidad de los datos (aumentar el número de ítems categóricos, clases o estados de transición) haya que "aflojar" los parámetros para que el modelo converja. Al ser un modelo EM no tiene una solución determinada, como la tendría un modelo lineal OLS. Se alcanza un óptimo de manera iterativa y si los números aleatoria al inicio de la iteración son "malos" es posible que no se logre convergencia o se alcance un óptimo local. Esto explicaría por qué la implementación de Clickclust aumenta el parámetro iter, el número de iteraciones del algoritmo EM. En sí mismo no es malo, excepto que va a aumentar el tiempo que demora entrenar el modelo.

Por la ayuda r es el número de reinicios del proceso iterativo y su incremento se explicaría por motivos similares al punto anterior. Aumenta la probabilidad de obtener la convergencia en un óptimo global (que bien) pero también aumenta el tiempo de ejecución (que mal).

De scale.const la ayuda dice que es una "scaling constant for avoiding numerical issues". No conozco exactamente a que refieren, pero en modelos similares que conozco mejor, como los de clases latentes, suele haber algún parámetro que facilita/dificulta la convergencia. Si tu dataset tiene mayor n o más complejidad que el de ejemplo puede ser que por eso que la función se tome la libertad de ajustar el parámetro.

Con respecto a tu última pregunta: en mi práctica selecciono los parámetros con dos criterios.

  • Si tienes un requisito numérico que cumplir (por ejemplo, menor BIC) podrías hacer un script para que iterar sobre diferentes parámetros y compararlos en un sumario, incluyendo aquellos que regresan NaN porque no encuentran una solución. Sobre esa base tomar la decisión. Es relativamente fácil de programar y con mclapply o similar se puede implementar en multihilos, ya que cada modelo es independiente de los demás. Te sugeriría usar tryCatch o similar porque sin dudas vas a tener errores.

  • El criterio más importante creo que es el de validación sustantiva ¿sirve el modelo que estoy ajustando para lo que necesito? En mi caso eso tiene que ver con ajuste a alguna teoría/hipótesis, en el tuyo podrías rastrear "a ojo" algunas secuencias al azar y ver si el modelo estima correctamente con unos parámetros dados, sobre todo el número de clases y estados. Esto consume tiempo, lo podrías hacer como segundo paso después de reducir el conjunto de modelo potencialmente buenos.

Los modelos de transición latente son matemáticamente muy complicados y producen mucha información. Es decir, hay muchos modelos óptimos posibles, dependiendo de la pregunta que te estés haciendo.

2
  • Si @mpaladino, me estaba planteando las 2 propuestas que mencionas, sin embargo el tiempo de ejecución es demasiado elevado para cada iteracion aun paralelizando el computo. Al utilizar secuencias de una longitud menor a 500 el modelo se podía ajustar luego de probar algunas combinaciones en los valores de los parámetros, sin embargo con secuencias mas largas se hacia muy complicado encontrar una solución. Opte por utilizar el enfoque del paquete clickstream , si bien no me parece tan solido desde lo estadístico, solventa en gran medida el tema de la elección optima de parámetros. Commented el 22 ene. 2020 a las 12:32
  • En efecto, son problemas computacionales verdaderamente complejos: el modelo ajusta simultáneamente la solución al problema de clasificación y al problema de transición en un espacio de probabilidades enorme. Si solo te interesa la capacidad predictiva del modelo (i.e. saber con qué precisión clasifica cuál será el próximo click de cada user) creo que es válido tratarlo como una caja negra y preocuparse solamente de que no esté sobreajustado usando validación cruzada. Suerte!
    – mpaladino
    Commented el 22 ene. 2020 a las 15:17

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.