Tengo una data frame con más 10 años de datos cada 30 minutos, con 31 columnas (más de 100000 datos), por lo que necesito obtener los mínimos y máximos cada 48 datos de cada columna, este dato debe estar junto a la fecha en el cual se obtuvo dicho máximo y el mínimo. Espero su ayuda.. Gracias.
-
Bienvenida Daniela a Stack Overflow en español, te sugiero que hagas el recorrido de bienvenida y de paso ganes tu primer medalla, también es muy importante que leas Cómo preguntar para poder mejorar tu pregunta y que sea bien recibida por la comunidad mejorando tus chances de obtener buenas respuestas..– Patricio MorachoCommented el 14 jul. 2020 a las 16:42
-
Agrega a tu pregunta una muestra de los datos, como texto y no como captura, así va a ser más sencillo responderte.– Patricio MorachoCommented el 14 jul. 2020 a las 16:43
-
Por cierto, lo que parece que buscas es el máximo valor por día no?– Patricio MorachoCommented el 14 jul. 2020 a las 16:44
-
Gracias por tus comentarios Patricio. Y respondiendo a tu pregunta si exacto seria el mínimo y el máximo de cada día. Los datos vienen cada media hora y necesito el datos de media hora máximo y mínimo y a lado la fecha de cuando sucedió ese evento.– DanielaCommented el 14 jul. 2020 a las 16:47
3 respuestas
suponiendo que tus datos se llaman data
y una columna V.Batt.Volt
puedes probar con esto:
library(dplyr)
data %>% filter(V.Batt.Volt == max(data$V.Batt.Volt))
de esa forma obtienes la fila completa donde ocurre ese evento y podrás ver la fecha y hora, para ayudarte mejor debieras poner un extracto de tus datos, no entiendo cuando dices 48 filas, si por ejemplo tienes solo 48 filas o tienes muchas más y cada día tiene 48 filas. Por eso es tan importante tener un ejemplo de los datos.
-
Gracias por tu respuesta. Son en total como 10 años de datos cada 30 minutos, con 31 columnas (más de 10000 datos), por lo que necesito obtener los mínimos y máximos cada 48 datos de cada columna.– DanielaCommented el 14 jul. 2020 a las 17:45
-
te recomiendo entonces editar tu pregunta para que se entienda bien y puedas recibir mejor ayuda por parte de los usuarios– t4x0nCommented el 14 jul. 2020 a las 17:49
-
Suponiendo unos datos como estos (similares a los que has descripto):
start <- as.POSIXct("2015-01-29", tz='GMT')
end <- start + as.difftime(5, units="days")
df <- data.frame(Fecha = seq(from=start, by=60*30, to=end),
V1 = runif(241),
V2 = runif(241))
head(df)
Fecha V1 V2
1 2015-01-29 00:00:00 0.73847990 0.3106750
2 2015-01-29 00:30:00 0.46992810 0.7890854
3 2015-01-29 01:00:00 0.61051499 0.4920094
4 2015-01-29 01:30:00 0.78236306 0.6912806
5 2015-01-29 02:00:00 0.07659569 0.3321352
6 2015-01-29 02:30:00 0.14292364 0.3858232
Usando dplyr/tidyverse
se me ocurre hacer lo siguiente:
library("tidyverse")
df %>%
group_by(Fecha.Grupo=as.Date(Fecha)) %>%
summarise_at(vars(V1:V2), funs(which.min, which.max)) %>%
gather("Valor", "Fila.Grupo", -Fecha.Grupo) %>%
arrange(Fecha.Grupo) -> indice
indice
# A tibble: 24 x 3
Fecha.Grupo Valor Fila.Grupo
<date> <chr> <int>
1 2015-01-29 V1_which.min 9
2 2015-01-29 V2_which.min 43
3 2015-01-29 V1_which.max 44
4 2015-01-29 V2_which.max 4
5 2015-01-30 V1_which.min 45
6 2015-01-30 V2_which.min 37
7 2015-01-30 V1_which.max 47
8 2015-01-30 V2_which.max 8
9 2015-01-31 V1_which.min 16
10 2015-01-31 V2_which.min 26
# … with 14 more rows
Con esto generamos una especie de índice, que nos indica para cada día (La fecha sin la hora) en que filas se encuentra el valor máximo y mínimo de cada variable. Esto es fácil de escalar, ya que simplemente debes modificar la definición de a que variables aplicaremos las funciones: vars(V1:V2)
en este caso definimos que se aplica a la V1
y hasta la V2
.
Con este índice, solo resta numerar las filas de cada día de 1 a 48 y mediante un inner_join
seleccionar solo las que coinciden con nuestro indice
df %>%
mutate(Fecha.Grupo=as.Date(Fecha)) %>%
group_by(Fecha.Grupo) %>%
mutate(Fila.Grupo=row_number()) %>%
inner_join(indice, by = c("Fecha.Grupo", "Fila.Grupo"))
# A tibble: 24 x 6
# Groups: Fecha.Grupo [6]
Fecha V1 V2 Fecha.Grupo Fila.Grupo Valor
<dttm> <dbl> <dbl> <date> <int> <chr>
1 2015-01-29 01:30:00 0.464 0.976 2015-01-29 4 V2_whic…
2 2015-01-29 04:00:00 0.0246 0.501 2015-01-29 9 V1_whic…
3 2015-01-29 21:00:00 0.649 0.0305 2015-01-29 43 V2_whic…
4 2015-01-29 21:30:00 0.994 0.676 2015-01-29 44 V1_whic…
5 2015-01-30 03:30:00 0.398 0.982 2015-01-30 8 V2_whic…
6 2015-01-30 18:00:00 0.256 0.00639 2015-01-30 37 V2_whic…
7 2015-01-30 22:00:00 0.0198 0.430 2015-01-30 45 V1_whic…
8 2015-01-30 23:00:00 0.981 0.457 2015-01-30 47 V1_whic…
9 2015-01-31 07:30:00 0.00985 0.568 2015-01-31 16 V1_whic…
10 2015-01-31 10:30:00 0.994 0.146 2015-01-31 22 V1_whic…
# … with 14 more rows
-
Muchas gracias por la información... Probaré lo que me comentas.– DanielaCommented el 14 jul. 2020 a las 20:58
Entiendo que necesitas las sumarias de datos de cada 48 filas porque esas componen las medidas de un día en tu tabla. Diciéndolo de otra manera sería que necesitas el mínimo y el máximo de cada día para una de tus variables.
Setup
Utilizo el código de Patricio usó para generar su tabla de muestra, sólo que en lugar de data.frame()
uso tibble()
para aprovechar su formato de impresión.
library(dplyr)
start <- as.POSIXct("2015-01-29", tz='GMT')
end <- start + as.difftime(5, units="days")
df <- tibble(Fecha = seq(from=start, by=60*30, to=end),
V1 = runif(241),
V2 = runif(241))
print(df)
# A tibble: 241 x 3
Fecha V1 V2
<dttm> <dbl> <dbl>
1 2015-01-29 00:00:00 0.0852 0.315
2 2015-01-29 00:30:00 0.759 0.0192
3 2015-01-29 01:00:00 0.652 0.882
4 2015-01-29 01:30:00 0.950 0.798
5 2015-01-29 02:00:00 0.555 0.854
6 2015-01-29 02:30:00 0.119 0.112
7 2015-01-29 03:00:00 0.805 0.966
8 2015-01-29 03:30:00 0.701 0.336
9 2015-01-29 04:00:00 0.960 0.782
10 2015-01-29 04:30:00 0.144 0.244
# … with 231 more rows
Al mismo tiempo, veo que el formato de tus datos está en dd/mm/yyyy por lo que te recomiendo que uses dmy_hms()
para pasarlos a clase datetime.
library(lubridate)
dmy_hms("1/1/2015 00:00:30")
[1] "2015-01-01 00:00:30 UTC"
Desarrollo
Pienso que la mejor manera de hacerlo es usando summarise_all()
y luego unir por filas. En mi caso primero creo la función mi_sumaria()
que toma la variable Fecha
para agrupar después de haberla convertido en Date (nuevamente, pensando en que necesitas los resúmenes por día). Se agrega una columna al final para identificar la función de resumen utilizada.
mi_sumaria <- function(tabla, funcion){
tabla %>%
mutate(Fecha = as.Date(Fecha)) %>%
group_by(Fecha) %>%
summarise_all(funcion) %>%
mutate(categoria = funcion)
}
Lo bueno de esta función es que sirve para cualquier variable de resumen, siempre y cuando no necesites agregarle parámetros extra (tipo na.rm
).
Luego de esto es sólo cuestión de juntar por filas las tablas obtenidas. Lo bueno de haber creado la función mi_sumaria()
es que lo puedes hacer en una sola línea sin necesidad de crear otros objetos.
bind_rows(mi_sumaria(df, "min"), mi_sumaria(df, "max"))
# A tibble: 12 x 4
Fecha V1 V2 categoria
<date> <dbl> <dbl> <chr>
1 2015-01-29 0.0415 0.00860 min
2 2015-01-30 0.00327 0.0196 min
3 2015-01-31 0.0122 0.0199 min
4 2015-02-01 0.00772 0.00119 min
5 2015-02-02 0.0179 0.0231 min
6 2015-02-03 0.222 0.902 min
7 2015-01-29 0.985 0.966 max
8 2015-01-30 0.991 0.988 max
9 2015-01-31 0.992 0.992 max
10 2015-02-01 0.971 0.999 max
11 2015-02-02 0.997 0.960 max
12 2015-02-03 0.222 0.902 max
La función mi_sumaria()
funciona siempre y cuando las columnas que no son la fecha con la que agrupas sean todas numéricas, sin importar cuántas columnas tengas.