0

Estoy intentando hacer la carga dinámica cientos archivos CSVs que debo manipular, y necesito hacerlo bajo ciertas condiciones especiales.

El formato de los archivos es el siguiente:

20170113-geocoding_parsedV1_2015_R8.csv

20170118-geocoding_parsedV1_2013_R10.csv

20170119-geocoding_parsedV1_2016_R12.csv

20170119-geocoding_parsedV1_2015_R12.csv

Logro hacer de forma simple, y poco eficiente, el proceso:

cargar_datos_gc <- function(dir_version_datos_csv){ 

  arch_2013 <- dir(dir_version_datos_csv, pattern = "[0-9]{8}-\\w+_(2013)_R(\\d{1}|\\d{2})\\.csv", full.names = TRUE)
  arch_2014 <- dir(dir_version_datos_csv, pattern = "[0-9]{8}-\\w+_(2014)_R(\\d{1}|\\d{2})\\.csv", full.names = TRUE)
  arch_2015 <- dir(dir_version_datos_csv, pattern = "[0-9]{8}-\\w+_(2015)_R(\\d{1}|\\d{2})\\.csv", full.names = TRUE)
  arch_2016 <- dir(dir_version_datos_csv, pattern = "[0-9]{8}-\\w+_(2016)_R(\\d{1}|\\d{2})\\.csv", full.names = TRE)
  
  datos_arch_2013 <- lapply(arch_2013, function(pipe){read.csv(pipe, sep="|",  header = TRUE, stringsAsFactors=FALSE, check.names=FALSE, encoding = 'UTF-8')})
  datos_arch_2014 <- lapply(arch_2014, function(pipe){read.csv(pipe, sep="|",  header = TRUE, stringsAsFactors=FALSE, check.names=FALSE, encoding = 'UTF-8')})
  datos_arch_2015 <- lapply(arch_2015, function(pipe){read.csv(pipe, sep="|",  header = TRUE, stringsAsFactors=FALSE, check.names=FALSE, encoding = 'UTF-8')})
  datos_arch_2016 <- lapply(arch_2016, function(pipe){read.csv(pipe, sep="|",  header = TRUE, stringsAsFactors=FALSE, check.names=FALSE, encoding = 'UTF-8')})

  df_regiones_gc_2013 <- do.call("rbind", datos_arch_2013)
  df_regiones_gc_2014 <- do.call("rbind", datos_arch_2014)
  df_regiones_gc_2015 <- do.call("rbind", datos_arch_2015)
  df_regiones_gc_2016 <- do.call("rbind", datos_arch_2016)

  # Creación de lista para retornar un vector de dataframes
  datos_anuales_gc <- list("2013" = df_regiones_gc_2013, "2014" = df_regiones_gc_2014, "2015" = df_regiones_gc_2015, "2016" = df_regiones_gc_2016)

  return(datos_anuales_gc)  
}

Obteniendo el resultado básico de lo que necesito: se genera una lista de listas, cuyos elementos son los años y sus subelementos son los archivos correspondientes a esos años, en base a lo descrito en el nombre de cada uno. Esto me ha permitido manipular los datos por año sin problemas.


Como podrán entender, tengo problemas para probar con ciertos años específicos o cuando agrego otro no incluido en el código; de esta forma, me estoy viendo obligado a escribir por año lo que necesito.

Ya contextualizados, les pregunto ¿hay alguna manera de hacer la misma lectura de datos, pero de forma dinámica?. Es decir, que lea todos los archivos que haya en un directorio específico y que, independiente de los años que tengan los nombres de los archivos, me genere una lista de listas en base al año de los archivos existentes en ese lugar, sea 1 o sean 200. Si fuese 1 archivo, que me genere una lista con nombre igual al año del registro y dentro de ella un elemento que el nombre de ese archivo en cuestión.

He intentado de varias formas lo que necesito, sin resultado. La última forma que se me ocurrió fue guardar los nombres de todos los CSVs en una sola lista y usando expresiones regulares eliminar las partes del nombre que sean comunes en todas hasta conservar solo los años y así indexarlos por año. El problema de eso es que después no puedo recuperar esa info y es valiosa para trabajo posterior.

Cualquier ayuda sobre esto y sobre cualquier cosa que haga más eficiente la lectura código será bien recibida. También se agradecen explicaciones a prueba de tontos como yo.

2 respuestas 2

1

Más que una respuesta, unas recomendaciones, que si bien hacen lo mismo, simplifican el código por lo que lo hacen más legibles:

  • Utilizar la librería purrr lo mismo que los lapply pero más flexibles pues lapply + do.call("rbind") se puede hacer con map_df de la librería purrr.
  • Usar librería readr para leer los archivos de texto pues tiene mejores valores por defecto, stringsAsFators = FALSE, etc etc
  • Generar funciones para hacer todo más modular.

Por ejemplo:

años <- variable_que_tiene_los_años_a_cargar

# funciona auxiliar que dado un año
carga_año <- function(año, carpeta) {

  arch_año <- dir(carpeta,
                  pattern = paste0("[0-9]{8}-\\w+_(", año, ")_R(\\d{1}|\\d{2})\\.csv"),
                  full.names = TRUE)      

  # map_df es un lapply que al final reduce el resultado en un
  # dataframe (_df) via rbind.
  df_regiones_gc_año <- map_df(arch_año, read_delim, delim = "|")
  df_regiones_gc_año 
}

# map es un lapply
datos_gc <- map(años, carga_año, "ruta_a_mis_datos")

Lo único que tienes que obtener son los años a cargar.

Saludos,

1
  • 1
    Gracias por tus recomendaciones! logré adaptar mi código usando parte de lo que me mencionaste; map_df() funcionó muy bien! Lo del readr no pude implementarlo, pero de todas formas se agradece el aporte. Commented el 3 may. 2017 a las 15:06
0

Con la ayuda del comentario de @jbkunst logré implementar una lectura de datos dinámica, haciendo uso de expresiones regulares. Les comparto lo que hice por si le sirve alguien.

cargar_datos_gc <- function(dir_version_datos_csv){ 

  files <- dir(dir_version_datos_csv, pattern = "[0-9]{8}-\\w+_(\\d+)_R\\d{1,2}\\.csv", full.names = TRUE)

  year_file_list <- list()
  year_dates <- list()

  # This loop splits by year the file name list using regex.
  for (count in seq(length(files))){
    # Note that regex below has '.*' at the beginning of pattern because 
    # re_match hasn't argument to catch full file names.
    file_info = re_match(text = files[count], pattern = ".*[0-9]{8}-\\w+_(\\d+)_R\\d{1,2}\\.csv")
    #file_date[1]=filename; file_date[2] = group 1: file year!

    if (file_info[2] %in% names(year_file_list)){
    # If the year is in the list, it appends the CSV name checked. 
    year_file_list[[file_info[2]]] <- append(year_file_list[[file_info[2]]], file_info[1])
    }else {
      # If not, add a year and his CSV name.
      year_file_list[[file_info[2]]] <- file_info[1]
    } # else
  } #for

  # This loop reads and save loacly all files, creating a dataframe list, 
  # where each element of the list is one year of information.  
  for (counter in 1:length(year_file_list)){    
    year_dates[[counter]] <- map_df(year_file_list[[counter]], read.csv, sep="|", header = TRUE, stringsAsFactors=FALSE, check.names=FALSE, encoding = 'UTF-8')
    names(year_dates)[counter] <- names(year_file_list[counter])  
  }

  return(year_dates) 

} # function cargar_datos_gc

Se me había olvidado compartir la información, pero era necesario hacerlo.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.