Estoy intentando hacer la carga dinámica cientos archivos CSVs que debo manipular, y necesito hacerlo bajo ciertas condiciones especiales.
El formato de los archivos es el siguiente:
20170113-geocoding_parsedV1_2015_R8.csv
20170118-geocoding_parsedV1_2013_R10.csv
20170119-geocoding_parsedV1_2016_R12.csv
20170119-geocoding_parsedV1_2015_R12.csv
Logro hacer de forma simple, y poco eficiente, el proceso:
cargar_datos_gc <- function(dir_version_datos_csv){
arch_2013 <- dir(dir_version_datos_csv, pattern = "[0-9]{8}-\\w+_(2013)_R(\\d{1}|\\d{2})\\.csv", full.names = TRUE)
arch_2014 <- dir(dir_version_datos_csv, pattern = "[0-9]{8}-\\w+_(2014)_R(\\d{1}|\\d{2})\\.csv", full.names = TRUE)
arch_2015 <- dir(dir_version_datos_csv, pattern = "[0-9]{8}-\\w+_(2015)_R(\\d{1}|\\d{2})\\.csv", full.names = TRUE)
arch_2016 <- dir(dir_version_datos_csv, pattern = "[0-9]{8}-\\w+_(2016)_R(\\d{1}|\\d{2})\\.csv", full.names = TRE)
datos_arch_2013 <- lapply(arch_2013, function(pipe){read.csv(pipe, sep="|", header = TRUE, stringsAsFactors=FALSE, check.names=FALSE, encoding = 'UTF-8')})
datos_arch_2014 <- lapply(arch_2014, function(pipe){read.csv(pipe, sep="|", header = TRUE, stringsAsFactors=FALSE, check.names=FALSE, encoding = 'UTF-8')})
datos_arch_2015 <- lapply(arch_2015, function(pipe){read.csv(pipe, sep="|", header = TRUE, stringsAsFactors=FALSE, check.names=FALSE, encoding = 'UTF-8')})
datos_arch_2016 <- lapply(arch_2016, function(pipe){read.csv(pipe, sep="|", header = TRUE, stringsAsFactors=FALSE, check.names=FALSE, encoding = 'UTF-8')})
df_regiones_gc_2013 <- do.call("rbind", datos_arch_2013)
df_regiones_gc_2014 <- do.call("rbind", datos_arch_2014)
df_regiones_gc_2015 <- do.call("rbind", datos_arch_2015)
df_regiones_gc_2016 <- do.call("rbind", datos_arch_2016)
# Creación de lista para retornar un vector de dataframes
datos_anuales_gc <- list("2013" = df_regiones_gc_2013, "2014" = df_regiones_gc_2014, "2015" = df_regiones_gc_2015, "2016" = df_regiones_gc_2016)
return(datos_anuales_gc)
}
Obteniendo el resultado básico de lo que necesito: se genera una lista de listas, cuyos elementos son los años y sus subelementos son los archivos correspondientes a esos años, en base a lo descrito en el nombre de cada uno. Esto me ha permitido manipular los datos por año sin problemas.
Como podrán entender, tengo problemas para probar con ciertos años específicos o cuando agrego otro no incluido en el código; de esta forma, me estoy viendo obligado a escribir por año lo que necesito.
Ya contextualizados, les pregunto ¿hay alguna manera de hacer la misma lectura de datos, pero de forma dinámica?. Es decir, que lea todos los archivos que haya en un directorio específico y que, independiente de los años que tengan los nombres de los archivos, me genere una lista de listas en base al año de los archivos existentes en ese lugar, sea 1 o sean 200. Si fuese 1 archivo, que me genere una lista con nombre igual al año del registro y dentro de ella un elemento que el nombre de ese archivo en cuestión.
He intentado de varias formas lo que necesito, sin resultado. La última forma que se me ocurrió fue guardar los nombres de todos los CSVs en una sola lista y usando expresiones regulares eliminar las partes del nombre que sean comunes en todas hasta conservar solo los años y así indexarlos por año. El problema de eso es que después no puedo recuperar esa info y es valiosa para trabajo posterior.
Cualquier ayuda sobre esto y sobre cualquier cosa que haga más eficiente la lectura código será bien recibida. También se agradecen explicaciones a prueba de tontos como yo.