2

Estoy corriendo el siguiente modelo lineal general en R:

model1<-lm(leche ~ MT1 + ednp + cnv3 + poly(DIM, 3) + HTD, data=misdatos)

MT1, ednp, cnv3 y HTD son factores, los he predefinido como tal; mientras que DIM es una variable continua que utilizo como covariable en el modelo. Ejecutando el modelo de esta manera, mi anova considera todos los efectos

Analysis of Variance Table

Response: leche
                Df     Sum Sq   Mean Sq  F value    Pr(>F)    
MT1              1    2788946   2788946   67.049 2.703e-16 ***
ednp             9   87481407   9720156  233.680 < 2.2e-16 ***
cnv3             2    4457347   2228674   53.579 < 2.2e-16 ***
poly(DIM, 3)     3  947794411 315931470 7595.244 < 2.2e-16 ***
HTD           1012  762410521    753370   18.112 < 2.2e-16 ***
Residuals    57613 2396468010     41596                       
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Sin embargo, cuando cambio el orden de mis efectos a

model2<-lm(leche ~ HTD + MT1 + cnv3 + poly(DIM, 3) + ednp, data=misdatos)

el resultado omite la salida para MT1, lo que creo que carece de sentido porque en teoría el orden no debería alterar el resultado, ¿no?

Analysis of Variance Table

Response: leche
                Df     Sum Sq   Mean Sq  F value    Pr(>F)    
HTD           1013 1350638499   1333306   32.054 < 2.2e-16 ***
ednp             9   45711618   5079069  122.105 < 2.2e-16 ***
cnv3             2    1413259    706630   16.988 4.211e-08 ***
poly(DIM, 3)     3  407169256 135723085 3262.891 < 2.2e-16 ***
Residuals    57613 2396468010     41596                        

¿Qué puede estar pasando? Esto ya me crea inseguridad en los resultados que obtengo y no se me ocurre que puede estar pasando. ¿Alguna idea?

1 respuesta 1

3

Respuesta corta: en el anova de un solo modelo el orden de los términos importa. Para ver todos los términos de una regresión siempre se puede usar summary(modelo).

Respuesta larga:

Según se documenta en la ayuda de anova.lm()

Cuando se especifica un solo objeto da como resultado una tabla de análisis de varianza secuencial para ese modelo. Esto es, las reducciones en la suma de cuadrados residuales a medida que se agrega cada término a la fórmula se presentan como filas de una tabla, así como el residual de la suma de cuadrados. (Traducción propia, original en inglés debajo)

Es decir, si en lugar de comparar varios modelos se hace el análisis sobre un solo modelo, lo que hace anova.lm() es ir incluyendo cada término (predictor o variable independiente) en el orden en que aparecen en la fórmula. Cuando llega al punto en que el siguiente término no reduce los residuos cuadrados, entonces ese "siguiente término" ya no se incluye.

La función anova() se usa principalmente para comparar el ajuste de dos o más especificaciones de modelos para los mismos datos. Dicho de otro modo, es una especie de prueba de hipótesis para decidir si un modelo tiene mejor ajuste que otro, para lo cuál calcula un p-value. De este modo tendrías información para decidir si te quedas con el modelo con menos términos o lo descartas en favor del que tiene más términos. La idea es encontrar un modelo parsimonioso.

La literatura actual desaconseja este tipo de procedimientos para seleccionar predictores, tanto para fines predictivos como de inferencia causal.

  • Si el modelo es para fines predictivos porque la R cuadrada tiende a premiar modelos sobreajustados, que dan peores resultados estimando datos no vistos (i.e. haciendo predicciones). En ese caso sería mejor hacer la selección de predictores por validación cruzada o separar los datos en test y entrenamiento. Mejor todavía usar un modelo lasso.

  • Si fuera para fines inferenciales (lo que intuyo, ya que usas la palabra efecto) porque hacer primero selección de variables y hacer luego las pruebas de hipótesis sobre el modelo con las variables seleccionadas tiende a reducir los p-value de manera espuria. Lo que se aconseja es ajustar un modelo penalizado, como podría ser alguna variante del lasso.

Este paper tiene una muy buena discusión sobre el tema, lamentablemente está en inglés y no he encontrado nada en español sobre el tema aún.

Specifying a single object gives a sequential analysis of variance table for that fit. That is, the reductions in the residual sum of squares as each term of the formula is added in turn are given in as the rows of a table, plus the residual sum of squares. (original de la ayuda de anova.lm, considerando los autores de la función se lo puede tomar como referencia canónica)

3
  • muchas gracias por la explicación. El paper genial, no tengo problema con que esté en inglés.
    – Caro
    el 10 jun. 2019 a las 6:53
  • 1
    Que bueno que puedas leerlo, en general trato de evitar referencias en inglés en SO en español, pero a veces no hay alternativa. Computer age statistical inference, que se encuentra acá web.stanford.edu/~hastie/CASI_files/PDF/casi.pdf es una referencia exhaustiva sobre el tema de la inferencia estadística con datos anchos, es decir, cuando no estás controlando a priori y por diseño el número parámetros que vas a estimar en tu modelo. El tema me interesa, ojalá termine pronto un paper aplicado a ciencias sociales. Te aviso cuando esté el borrador
    – mpaladino
    el 10 jun. 2019 a las 16:52
  • 1
    @Caro, recuerda aceptar las respuestas que te sirvan, además de ser la forma adecuada de agradecer, también y más importante, las preguntas con respuestas aceptadas tienen menos posibilidades de eventualmente ser eliminadas automáticamente por el sistema. Saludos. el 10 jun. 2019 a las 17:54

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.