0

Supongamos que a los datos iris les añado un 20% de datos desconocidos para después imputarlos

data <- iris
library(missForest)
iris.mis <- prodNA(iris, noNA = 0.2)

Imputo los valores desconocidos mediante el paquete mice.

library(mice)
imputed_Data <- mice(iris.mis, m=5, maxit =10, method = 'pmm', seed = 500)

Como tengo m=5, tengo 5 posibles imputaciones para el mismo dato desconocido. Por ejemplo para la longitud del sépalo tengo

imputed_Data$imp$Sepal.Length
      1   2   3   4   5
2   4.6 4.6 5.0 5.1 4.8
4   4.4 5.0 5.1 4.6 5.2
8   5.0 5.1 4.8 5.1 4.6
14  4.6 4.8 4.9 4.4 4.9
15  5.7 5.2 5.5 5.5 6.0
16  5.5 4.9 5.2 5.5 5.2
17  4.8 5.1 5.4 5.0 5.1
etc...

Si me quiero quedar con una columna en concreto de imputaciones puedo hacer:

completeData <- complete(imputed_Data,2)

Pero... ¿si no quiero una en concreto?

Para la primera fila ha salido 4.6 dos veces. Si quiero la que más veces ha salido o la media de todos los resultados, ¿hay algún parámetro para esto?

En ejemplos veo que se suele hacer una regresión lineal y luego aplicar pool, en teoría para combinar resultados, pero no sé bien qué es lo que hace.

1 respuesta 1

1

Si lo que buscas es generar un data set "canónico", con las imputaciones "correctas" o "las mejores posibles", entonces MICE no es buena opción, porque es una herramienta para otra cosa.

Para lograr "la mejor" predicción de posible tus missing sería mejor usar algún algoritmo en el que tratas de minimizar el error promedio sobre datos no vistos: random forest, ridge regression, SVM, u otro que esté de moda ahora. Sería un procedimiento estándar de machine learning: separas entrenamiento y test, ajustas varios modelos afinando hiperparámetros, haces validación cruzada contra los datos prueba y eliges el que menor error produce. Con ese modelo imputas los missing en tu data set y ya.

El problema es que a fines estadísticos no tiene caso hacerlo. Vamos a ubicarnos en el mejor escenario posible: el proceso que generó tus datos produce tanto tus datos válidos como tus datos missing(1). Si se cumple el supuesto entonces puedes usar tus datos completos para estimar tus datos missing. El problema es que tu estimación de un valor missing usando un modelo es una estimación puntual: es tu esperanza estadística dado un modelo. Indica el centro de una distribución de valores probables, pero en tu estimación siempre va a haber un término de error(2). Dicho de otro modo, encuentras el valor más probable para tu missing, no el único valor posible. Al hacerlo dejas a un lado la incertidumbre implícita en tu estimación. En un modelo estadístico eso no es buena idea, es mucho mejor tratar a tus valores missing como inciertos, porque lo son. Eso es lo que hace MICE: crea múltiples imputaciones y con el pooling de los parámetros estimados por el modelo sobre las múltiples imputaciones estás incorporando la incertidumbre de la imputación de tus missing a tu modelo. Si tu imputación es muy buena los errores son chicos a lo largo de las múltiples imputaciones y obtienes parámetros en el modelo que varían poco. Si no es tan buena vas a tener parámetros con mayor variabilidad. Lo importante es que el pooling se hace sobre los parámetros del modelo, nunca sobre las imputaciones.

No sé si tienes alguna familiaridad con el método bootstrap, pero el MICE es parecido en su filosofía (no en la aplicación). La idea no es eliminar la incertidumbre (que no se puede) sino incluirla transfiriéndola a los parámetros que estimas para tu modelo.

Notas:

(1) En realidad es más razonable suponer que los datos missing provienen de otro/s proceso/s diferentes al que produce los datos válidos: sesgos de no respuesta, fallas en los instrumentos, fallas de captura, etc, etc. En ese caso es poco lo que se puede hacer. Si hay algún modelo capaz de manejar internamente datos perdidos sería mejor utilizarlo, es mejor que excluir los missing o imputarlos.

(2) En este contexto vale la pena asociar la palabra error con la palabra "errante": que se mueve o desplaza. No con equivocación. Para hablar a ciencia cierta de "equivocación" tendríamos que tener en la mano los datos que queremos modelar y en ese caso no tendría sentido hacer un modelo.

Entiendo que no es una respuesta directa a un problema de programación y que por tal motivo podría ser cerrada. Lamentablemente no existe crossvalidated en español y ocurre que muchas preguntas que aparecen en este sitio bajo la etiqueta [r] son problemas de comprensión estadística que aparecen cuando escribimos código, más que problemas de programación como tales.

3
  • Digamos que recibo unos datos los cuales tienen algunos datos perdidos. Mi objetivo no es crear un modelo para predecirlos, sino hacer un análisis descriptivo de dichos datos en el cual no debería haber missing. Puedo "tapar" esos missing de un forma "rápida" imputándolos por la media o por el valor más común del atributo. O de una forma más "sofisticada", usando algún paquete estilo Mice, Hmisc etc... y veo raro el poder hacer 20 estimaciones para un valor y no poder seleccionar con algún comando "la estimación más repetida", en cambio si puedo imputarla por alguna de ellas.
    – DudaR
    Commented el 21 dic. 2020 a las 21:52
  • No veo que sea raro considerando que la idea de MICE es precisamente generar un rango de valores plausibles para un missing dado, asumiendo que estimación del missing siempre va a ser incierta. Ahora bien, una cosa es MICE (pensando para hacer Multiple Imputation) y otra el algoritmo que usa para hacer la imputación. En tu caso quizás sea buena idea usar directamente uno de esos métodos, por ejemplo, si te parece que pmm (el método por defecto de MICE) es bueno podrías usarlo directamente con la función mice.impute.pmm. En ese caso obtendrías el valor más plausible.
    – mpaladino
    Commented el 21 dic. 2020 a las 22:25
  • Es más eficiente que ejecutarlo con MICE, obtener muchos valores y promediarlos. Esto porque los múltiples valores que regresa MICE provienen de una distribución centrada en el valor más plausible, así que la media de p valores de esa distribución debería ser igual o muy similar al valor más plausible. En todo caso el método pmm es casi siempre mejor que usar la media de y o la media de y|X: al imputar con la media reduces artificialmente la varianza. Todos los casos imputados tiene residuo 0. Eso complicado tanto para modelar como para describir. Suerte con tus missing!
    – mpaladino
    Commented el 21 dic. 2020 a las 22:31

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.