Buenos días/tardes/noches
Comento mi situación, comenzando por un contexto:
Tengo una carpeta con 543 archivos .csv de temperaturas horarias, en los cuales se encuentran datos de temperatura por hora y las columnas que tengo son: #estación, sensor, hora de captura de la temperatura y el valor de la temperatura.
Tengo que leer los 543 .csv como data frame, lo cual no es difícil individual pero no sé cómo leerlos todos de manera "automática"
Hasta el momento, lo he intentado con la siguiente línea de código:
temps <- lapply(Sys.glob("*.csv"), read.csv)
Sin embargo, esto me suelta una large list donde se encuentran dentro de ella los 543 data frames.
Nuevamente, acceder individualmente a cada uno no es difícil -adjunto código de cómo lo hice:
temp2 <- separate(temps[[1]], event_time, c("Fecha","Hora"), sep = " ")
(La anterior separación de "Fecha" y "Hora" es porque ambas se encontraban en una misma columna y, para necesidad del trabajo, necesito sólo las horas.)
Pero la idea es tener los 543 data frames para poder trabajarlos luego con un filtrado de temperaturas y un boxplot por data frame (o sea sacar 543 boxplots) y de ahí generar 543 nuevos .csv.
Dicho lo anterior, ¿de que manera puedo seleccionar los data frames de una large list para obtener individualmente cada data frame en R/Rstudio?
Por otro lado -y aprovechando la situación para preguntar-, en cuanto pueda trabajar ya con cada uno de los 543 data frames, asumo que tendré que crear un ciclo en el que haga el filtrado de temperaturas, el boxplot y la nueva salida, para los 543 data frames, verdad? Cómo sería dicho ciclo?
Qué pena, soy relativamente nuevo usando R y me siento algo confundido.
Muchas gracias por la ayuda!
PS: Adjunto lo que tengo de código hasta el momento, por si sirve de guía ante las inquietudes que plantee. Recibo también retroalimentaciones del resto del código, en caso de tener algo más o de poder hacerlo más eficiente. Gracias nuevamente
PS2: Adjunto imágenes solicitadas para una mejor comprensión del problema.
Lista con los 543 data frames.
Estructura de los .csv.
Ejemplo de un data frame seleccionado de como lo pienso trabajar.
Error de data frames vacíos
PS3: Imagen de un boxplot generado con un data.frame de ejemplo y los outliers que me solicitan eliminar.
PS4: Adjunto enlace a una carpeta en google drive que contiene 3 .csv para orientar mejor el problema y las soluciones, como se solicitó.
https://drive.google.com/drive/folders/1zazi3pSor0AXAt6Wj5sE0EfyxPbae6VU?usp=sharing
library(tidyr)
library(ggplot2)
library(outliers)
library(dplyr)
#Seleccionar directorio de trabajo
setwd("G:/IDEAM-2019-09-04/Datos/TEMP_AUTOMATICAS")
#Variable ficheros para los .csv
temps <- lapply(Sys.glob("*.csv"), read.csv)
#Lectura y separación de la hora en una nueva columna
temp2 <- separate(temps[[1]], event_time, c("Fecha","Hora"), sep = " ")
#Selección variables a trabajar
temp3 <- temp2[,c(4:5)]
#Visualización temperaturaxhoras
templist <- split(temp3, temp3$Hora)
#Párametros data frame
summary(temp3)
#Filtro de temperaturas -15°C < T < 50°C
tempfilt <- (select(temp3,Hora, event_value) %>% filter(event_value <50) %>%
filter(event_value > -15) %>% arrange(Hora, event_value))
#creación boxplot
tempbp <- (ggplot(tempfilt, aes(x = Hora, y = event_value)) + ggtitle("Boxplot1")
+ ylab("Temperatura")+ geom_boxplot())
print(tempbp)
#Identificación y filtro de valores atípicos
summary(tempfilt)
LIR <- boxplot.stats(tempfilt$event_value)$stats[1]
LSR <- boxplot.stats(tempfilt$event_value)$stats[5]
atípicos <- boxplot.stats(tempfilt$event_value)$out
tempatipi <- ggplot_build(tempbp)
#Nuevo data frame con los datos filtrados
finaltemp <- as.data.frame(tempbp[[1]], xy=T)
#Guardar como .csv
output.file <- ("../TemperaturasFinal/0001105020-0068-3.csv")
write.csv(finaltemp, output.file)
temps
está nombrada? Es decir ¿cada uno de los 543 data.frame tiene un nombre dentro de la lista? Pregunto porque dependiendo de eso hay diferentes opciones. Si no están nombrados (lo que sospecho) una opción es usarlapply()
para aplicar tu código a cada elemento de la lista (data.frame). Si puedes subir un ejemplo de los datos, al menos dos archivos .csv, sería más fácil ayudarte con una solución puntual. Saludos!station
tiene un identificador único, así que con eso se podría trabajar en un gran data.frame. ¿Cuál es el resultado final que esperas de todo esto? Entiendo que creas los boxplots para aprovechar los estadísticos internos y filtrar outliers. Si tienes algún criterio teórico o metodológico para eliminar outliers sería mejor aplicarlo directamente sin crear el gráfico como tal por cuestiones de eficiencia y uso de memoria. Porhelp(stat_boxplot)
los outliers fuera de +- 1.5 IQR de la mediana, sería mejor aplicar ese filtrado sin hacer el gráfico.