1

Tengo un df original enorme que contiene datos de temperatura y peso. Al hacer

ndatos <- df %>% 
  group_by(tt) %>%
  summarise(peso=mean(peso),
               n=n())%>%
  data.frame()

puedo ver que para cada categoría de temperatura tengo diferente número de observaciones, así:

df

Temp   Obs     Pesomedio

-3      782      40
-2      815      32
-1      3586     52
0       561      78
1       256      89
2       758      99

Lo que debo hacer es eliminar de cada categoría de temperatura el 1% de los valores de peso más altos y más bajos sobre la media del valor. No sé cómo hacerlo de forma sencilla y eficiente, porque lo primero que se me ha ocurrido es hacer un subset por categoría, luego sacar la media y luego eliminar manualmente los valores más altos y más bajos sin que estos superen el 2% del total... pero esto me llevaría horas o días.

Espero haberme explicado y que me puedan ayudar. Gracias!

2
  • ¿Cuando hablas de remover el 1% de los superiores e inferiores a la media? te refieres a cualquier 1% o a los valores más alejados de la media. Commented el 13 feb. 2019 a las 16:31
  • Si, me refiero a los valores más alejados de la media
    – Caro
    Commented el 13 feb. 2019 a las 16:40

2 respuestas 2

1

Entiendo que de cada categoría de temperatura quieres eliminar el 1% de valores extremos. En términos más técnicos, sería dejar los 98 percentiles centrales, eliminando el percentil 1 y el 100 de cada grupo. En este caso deberías tener una reducción de la n del 2% en total.

En ese caso una solución muy simple sería:

# Retomo los datos de la solución de Patricio Moracho para mantener la reproducibilidad
data.frame(temp = rep(-3:2, 100), 
                 peso = rep(40:99, 100)) -> df
df %>% 
   group_by(temp) %>%
   mutate(orden = ntile(peso, 100)) %>% 
   #Creo una columna con el percentil al que corresponde cada valor de peso
   filter(!orden %in% c(1, 100))
   #Filtro excluyendo los percentiles 1 y 100

Obtengo n=5880. Considerando que la n original es 6000 entonces se filtraron 120 filas, las 10 de mayor valor y las 10 de menor valor de cada uno de los 6 grupos.

2
  • Cuando dices que te quedas con un 99% de los datos de manera aleatoria, ese 1% que quitas cumple con la condición de que pertenezca a los más alejados de la media por ser máximos o mínimos?
    – Caro
    Commented el 13 feb. 2019 a las 16:42
  • No, es un 1% aleatorio dentro de cada grupo. No me había quedado clara la pregunta. Más tarde la corrijo para que elimine el 1% de casos extremos.
    – mpaladino
    Commented el 13 feb. 2019 a las 18:27
1
library(tidyverse)

# Un ejemplo básico
data.frame(temp = rep(-3:2, 100), 
           peso = rep(40:99, 100)) -> df

df %>% 
    # agrupamos por temp
    group_by(temp) %>% 
    # Determinamos si es superior o no a la media para el grupo
    # Y la diferencia absoluta del peso con la media
    mutate(clase = ifelse(peso > mean(peso), "+", "-"),
           diff = abs(mean(peso)-peso)) %>%
    # Agrupamos por temperatura y mayor o menor a la media
    group_by(temp, clase)  %>%
    # ordenamos descendente por la diferencia con la media
    arrange(desc(diff))  %>%
    # Quitamos los valores mas alejados de cada grupo (1%)
    filter(row_number() > quantile(row_number(),.01)) %>%
    # Desagrupamos y retornamos las columnas originales
    ungroup() %>%
    select(temp, peso)

Detalle

La idea básica es:

  • En primer lugar calculamos la media del peso de cada temperatura
  • Armamos una nueva jerarquía en función de si el peso es superior o inferior a la media
  • Calculamos la diferencia absoluta con la media y ordenamos en función de ese dato, primero los que estarían más alejados (valores mayores)
  • Numeramos cada fila de cada grupo en función del orden
  • Usamos quantile() para filtrar los valores que sean superiores al 1%.
2
  • Cuando dices "quitamos los valores más alejados de cada grupo", se estarían quitando los más alejados a la media por encima o por abajo?. El caso es que debo depurar mis datos para aplicar los modelos de análisis y de la manera que tengo las funciones no se ajustan demasiado bien a los puntos porque tengo algunos picos horrorosos que me dañan todo. Me han sugerido que haga la limpieza del 1% a ver si mejora.. Gracias por tu explicación @Patricio, muy clara como siempre.
    – Caro
    Commented el 14 feb. 2019 a las 9:37
  • 1
    @Caro, la idea es esa, buscar el 1% eligiendo los valores más alejados de la media, tanto los que están por encima como por debajo. Commented el 14 feb. 2019 a las 13:18

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.