2

Buenos días/tardes/noches

Comento mi situación, comenzando por un contexto:

Tengo una carpeta con 543 archivos .csv de temperaturas horarias, en los cuales se encuentran datos de temperatura por hora y las columnas que tengo son: #estación, sensor, hora de captura de la temperatura y el valor de la temperatura.

Tengo que leer los 543 .csv como data frame, lo cual no es difícil individual pero no sé cómo leerlos todos de manera "automática"

Hasta el momento, lo he intentado con la siguiente línea de código:

temps <- lapply(Sys.glob("*.csv"), read.csv)

Sin embargo, esto me suelta una large list donde se encuentran dentro de ella los 543 data frames.

Nuevamente, acceder individualmente a cada uno no es difícil -adjunto código de cómo lo hice:

temp2 <- separate(temps[[1]], event_time, c("Fecha","Hora"), sep = " ")

(La anterior separación de "Fecha" y "Hora" es porque ambas se encontraban en una misma columna y, para necesidad del trabajo, necesito sólo las horas.)

Pero la idea es tener los 543 data frames para poder trabajarlos luego con un filtrado de temperaturas y un boxplot por data frame (o sea sacar 543 boxplots) y de ahí generar 543 nuevos .csv.

Dicho lo anterior, ¿de que manera puedo seleccionar los data frames de una large list para obtener individualmente cada data frame en R/Rstudio?

Por otro lado -y aprovechando la situación para preguntar-, en cuanto pueda trabajar ya con cada uno de los 543 data frames, asumo que tendré que crear un ciclo en el que haga el filtrado de temperaturas, el boxplot y la nueva salida, para los 543 data frames, verdad? Cómo sería dicho ciclo?

Qué pena, soy relativamente nuevo usando R y me siento algo confundido.

Muchas gracias por la ayuda!

PS: Adjunto lo que tengo de código hasta el momento, por si sirve de guía ante las inquietudes que plantee. Recibo también retroalimentaciones del resto del código, en caso de tener algo más o de poder hacerlo más eficiente. Gracias nuevamente

PS2: Adjunto imágenes solicitadas para una mejor comprensión del problema.

  1. Lista con los 543 data frames. Lista con los 543 data frames

  2. Estructura de los .csv. Estructura de los .csv

  3. Ejemplo de un data frame seleccionado de como lo pienso trabajar. Ejemplo de un data frame seleccionado de como lo pienso trabajar

  4. Error de data frames vacíos Error en la escritura de los nuevos archivos

PS3: Imagen de un boxplot generado con un data.frame de ejemplo y los outliers que me solicitan eliminar. Ejemplo boxplot y outliers a eliminar

PS4: Adjunto enlace a una carpeta en google drive que contiene 3 .csv para orientar mejor el problema y las soluciones, como se solicitó.

https://drive.google.com/drive/folders/1zazi3pSor0AXAt6Wj5sE0EfyxPbae6VU?usp=sharing

library(tidyr)
library(ggplot2)
library(outliers)
library(dplyr)

#Seleccionar directorio de trabajo
setwd("G:/IDEAM-2019-09-04/Datos/TEMP_AUTOMATICAS")

#Variable ficheros para los .csv

temps <- lapply(Sys.glob("*.csv"), read.csv)

#Lectura y separación de la hora en una nueva columna

temp2 <- separate(temps[[1]], event_time, c("Fecha","Hora"), sep = " ")

#Selección variables a trabajar
temp3 <- temp2[,c(4:5)]

#Visualización temperaturaxhoras
templist <- split(temp3, temp3$Hora)

#Párametros data frame
summary(temp3)

#Filtro de temperaturas -15°C < T < 50°C

tempfilt <- (select(temp3,Hora, event_value) %>%  filter(event_value <50) %>% 
               filter(event_value > -15) %>% arrange(Hora, event_value))

#creación boxplot
tempbp <- (ggplot(tempfilt, aes(x = Hora, y = event_value)) + ggtitle("Boxplot1")
           + ylab("Temperatura")+ geom_boxplot())
print(tempbp)

#Identificación y filtro de valores atípicos

summary(tempfilt)
LIR <- boxplot.stats(tempfilt$event_value)$stats[1]
LSR <- boxplot.stats(tempfilt$event_value)$stats[5]
atípicos <- boxplot.stats(tempfilt$event_value)$out
tempatipi <- ggplot_build(tempbp)

#Nuevo data frame con los datos filtrados
finaltemp <- as.data.frame(tempbp[[1]], xy=T)

#Guardar como .csv
output.file <- ("../TemperaturasFinal/0001105020-0068-3.csv")
write.csv(finaltemp, output.file)

5
  • Jorge, ¿la lista temps está nombrada? Es decir ¿cada uno de los 543 data.frame tiene un nombre dentro de la lista? Pregunto porque dependiendo de eso hay diferentes opciones. Si no están nombrados (lo que sospecho) una opción es usar lapply() para aplicar tu código a cada elemento de la lista (data.frame). Si puedes subir un ejemplo de los datos, al menos dos archivos .csv, sería más fácil ayudarte con una solución puntual. Saludos!
    – mpaladino
    el 15 oct. 2019 a las 14:47
  • @mpaladino Hola. En efecto, los 543 data.frame no tienen nombre más que el número del orden con el que fueron leídos en la lista por mi línea de código. Adjunté unas imágenes que espero ayuden más. Los .csv no varían en nada excepto en la cantidad de datos que tienen las variables que ahí se ven. No sé si se pueden adjuntar .csv acá en SO. Soy nuevísimo en este sitio. De ser necesario, quedo atento para subirlos a un drive o similares. Muchas gracias por responder! el 15 oct. 2019 a las 15:22
  • Jorge, no están nombrados, pero la columna station tiene un identificador único, así que con eso se podría trabajar en un gran data.frame. ¿Cuál es el resultado final que esperas de todo esto? Entiendo que creas los boxplots para aprovechar los estadísticos internos y filtrar outliers. Si tienes algún criterio teórico o metodológico para eliminar outliers sería mejor aplicarlo directamente sin crear el gráfico como tal por cuestiones de eficiencia y uso de memoria. Por help(stat_boxplot) los outliers fuera de +- 1.5 IQR de la mediana, sería mejor aplicar ese filtrado sin hacer el gráfico.
    – mpaladino
    el 15 oct. 2019 a las 15:36
  • Y sí, seria buena idea poner un enlace a un ejemplo de los datos en drive, en SO no es posible directamente. Las imágenes pueden ayudar a entender el problema, pero no constituyen un ejemplo reproducible.
    – mpaladino
    el 15 oct. 2019 a las 15:37
  • El resultado que espero -o lo que me solicitan jaja- es generar 543 nuevos .csv con las temperaturas ya filtradas entre -15° y 50° -como se ve en el código que adjunté- ese es el 1er filtro, el 2ndo -y para esto me pidieron los boxplot- es eliminar los datos atípicos que se encuentran en algunas estaciones, aunque se encuentren entre las temperaturas mencionadas. Todo esto es parte de un control de calidad de los datos de dichas estaciones que a futuro serán usados para elaborar archivos raster. Adjunto imagen de un boxplot con outliers a eliminar -por si sirve- y enlace drive de los csv. el 15 oct. 2019 a las 15:48

2 respuestas 2

2

Voy a "recoger el guante" que dejó @mpaladino, pero tengo que reconocer que esta alternativa es básicamente lo que él ya expuso, con la única salvedad, que en vez de trabajar con una lista de data.frame trabajamos con un único data.frame, lo cual, tal vez y según el criterio puede ser algo más sencillo de leer:

list.files(pattern='*.csv') %>%
  # Leemos cada csv en un único data.frame y agregamos una columna
  # con el nombre del archivo
  map_df(function(x) read_csv(x) %>% mutate(filename=gsub('.csv', '', basename(x)))) %>% 
  # Separamos event_time en fecha y hora
  separate(event_time, into = c("fecha", "hora"), sep = " ") %>% 
  # Agrupamos por archivo
  group_by(filename) %>% 
  # Realizamos los filtros de forma simultanea
  filter(event_value < 50 & 
         event_value > -15 &
         event_value < median(event_value) + (1.5 * IQR(event_value)) &
         event_value > median(event_value) - (1.5 * IQR(event_value))) %>% 
  # Ahora volvemos a dividir el data.frame por archivo
  nest(-filename) %>%
  # Salvamos cada grupo en un nuevo archivo, ej: archivo.new.csv
  # Usamos la función base write.csv ya que nos permite hacer "quoting"
  # que es al menos como parecieran estar los archivos de entrada.
  pwalk(function(filename, data) write.csv(data, 
                                           paste0(filename, ".new.csv"), 
                                           quote = TRUE,
                                           row.names = FALSE))
8
  • Coincido, es más legible de esta manera, evita el uso repetitivo de map() y funciones anónimas.
    – mpaladino
    el 16 oct. 2019 a las 22:11
  • Muchísimas gracias. Al igual que el de mpaladino, funcionó! Sin embargo, tengo una duda y un problema. En tu código, a diferencia del de mpaladino, los nuevos .csv les falta una fila. Ya revisé el código y todo es igual en los filtros, ¿por qué se da esto?. En cuanto al problema, cuando quiero que los nuevos archivos queden en otra carpeta, me sale el siguiente error (lo adjunto en otro comentario) el 18 oct. 2019 a las 16:04
  • Error: Column station can't be converted from character to numeric > pwalk(function(filename, data) write.csv(data, + paste0(filename, ".new.csv"), + quote = TRUE, + row.names = FALSE)) Error in pmap(.l, .f, ...) : argument ".f" is missing, with no default Finalmente, cabe aclarar que antes del código de guardado, estoy usando el setwd para cambiar la carpeta. No sé si esté bien. Me disculpo por lo novato jaja el 18 oct. 2019 a las 16:06
  • Hay una diferencia entre ambas soluciones en la forma en que se filtran los datos. En el caso de la de mpaladino, los filtros se van aplicando de forma independiente, por lo que el segundo filtro de los outliers se calcula habiendo ya eliminado el primer rango de outliers, en mi caso los filtros se aplican simultáneamente, es decir los outliers mayores y menores se calculan sobre el mismo conjunto de datos, esto puede producir seguramente alguna diferencia. el 18 oct. 2019 a las 16:15
  • Si quieres salvar todo en una nueva carpeta, por ejemplo data reemplaza el paste0 que uso para construir el nombre del archivo por esto: paste0(file.path("data", filename), ".csv") el 18 oct. 2019 a las 16:23
1

Va una solución completa al problema, funciona con los datos que subiste al drive.

  • Lee los archivos
  • Separa fecha y hora
  • Filtra >50 >-15
  • Filtra outliers con el mismo criterio que boxplot
  • Escribe los .csv filtrados en disco
  • No produce los boxplots en ningún paso

Deberías verificar cuidadosamente que el filtrado sea el correcto. Por eficiencia en lugar de crear el boxplot paso el filtro con la función filter(), eliminando las filas con event_value que están a más o menos de 1.5 IQR de la mediana. Si es para publicación o tomar decisiones verifíca que el criterio sea correcto y esté bien implementado.

En esta aproximación uso mucha programación funcional y funciones como map() y walk que se encargan de pasar una función a cada elemento de una lista. Lo prefiero a usar un bucle, aunque si no estás familiarizado el código te puede resultado un poco extraño. Es similar a lo que se haría con lapply(). Más tarde edito la respuesta para aclarar mejor que hace el código. Te sugiero sino leer la ayuda de map() o directamente consultar el libro Advanced R de Hadley Wickham, está disponible en línea (lamentablemente en inglés solamente).

Va código

library(tidyverse)

#Modificar el path al tuyo, yo creé una carpeta "julio" para este problema
#Solo pueden estar los .csv en esa carpeta

archivos <- list.files('./julio', 
                       include.dirs = TRUE, 
                       full.names = TRUE) 

# Leo cada archivo como un data.frame de una lista
map(archivos, read_csv) %>% 
  map(separate, into = c("fecha", "hora"), event_time, sep = " ") -> #separo fecha y hora
  lista_estaciones  #Nombro al objeto

lista_estaciones %>% 
  map(~filter(.x, event_value < 50 & event_value > -15)) %>%  

  #Aplico los mismos filtros que usa boxplot, pero "manualmente"
  #VERIFICAR QUE ESTEN BIEN LOS FILTROS Y SEAN LOS QUE NECESITAS

  map(~filter(.x, event_value < median(event_value) + (1.5*IQR(event_value)))) %>% 
  map(~filter(.x, event_value > median(event_value) - (1.5*IQR(event_value)))) ->
  lista_estaciones_filtrada

# Hago un vector con los nombres que usaré para cada archivo, será .y en el walk2 siguiente
nombres <- unlist(map(lista_estaciones_filtrada, ~distinct(.x, station)))

# Escribo los archivos. Van a ir al directorio de trabajo, podrías cambiar el directorio de trabajo
# o modificar el path relativo dentro del paste

walk2(lista_estaciones_filtrada, nombres, ~write_csv(.x, paste(.y, ".csv")))

Quizás alguien más pueda proponer una solución más simple o menos dependiente de las funciones funcionales que tienen sus complicaciones si no se las conoce. Esta es la que se me ocurrió. Suerte!

5
  • Muchísimas gracias. Funciona! Sin embargo, tengo un problema y es cuando lo hago con los 543 archivos me sale el siguiente error: Error:Mapped vectors must have consistent lengths: * .x has length 543 * .y has length 537 Lo que observe en el enviroment, es que al crear la lista me está leyendo un/varios archivos como data frames que no tienen nada (adjunto imagen en el post principal). Ya revise si era algún .csv que perdía los datos pero no, son totalmente diferentes o creados durante el proceso. No sé si sea un error generado por el pc. el 18 oct. 2019 a las 15:34
  • ¿Probaste la solución la solución que propone @Patricio Moracho? Me parece que es más robusta, ya que registra los nombres de archivo explícita y directamente en la lectura del .csv. Además al pasar todos los datos a un único data.frame elimina automáticamente el problema de las listas con elementos NULL, que creo que es lo que está haciendo que que el vector de nombres sea más corto que la lista de data.frame. unlist() coerciona a vector y ahí está el problema. Un workaround es dar un valor explícito a los NULL de la lista de nombres antes del unlist, pero es mala idea en este caso.
    – mpaladino
    el 18 oct. 2019 a las 15:45
  • En efecto, la solución de Patricio eliminó ese problema. Sin embargo, me surgió otro que ya comenté en la sol de él, que creo es más error mío -en mi desconocimiento- que del sistema. Pues no estoy logrando guardar los archivos en otra carpeta diferente a la de los archivos de origen. el 18 oct. 2019 a las 16:09
  • Actualizo: los archivos que desaparecían o quedaban como "0" eran .csv que no tenían datos (error de captura de las estaciones). Con ambos códigos, tanto el tuyo como el de Patricio, pude realizar el proceso. Muchas gracias a ambos!! el 18 oct. 2019 a las 17:47
  • Eran los archivos entonces. En R literalmente se aprende de los errores, aún de los de captura de una estación. Suerte con el proyecto.
    – mpaladino
    el 18 oct. 2019 a las 18:46

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.