2

Necesito importar una base a R que tiene formato csv. El problema es que el archivo contiene la información de una forma que imposibilita la correcta importación. De los cuatro renglones con palabras necesito solo quedarme como el año de cada tabla de la base de datos.

introducir la descripción de la imagen aquí

introducir la descripción de la imagen aquí

Lo que finalmente necesito obtener es algo como lo siguiente:

Mes Día Año  Precipitaciones
Ene 1   2018  10
Ene 2   2018  23
Ene 3   2018  22
Ene 4   2018  11
......
Ene 1   2019  13
Ene 2   2019  31.3
Ene 3   2019
......
.
.
..

El link a los datos es: https://www.dropbox.com/s/rq8cql40r5dk413/190068%20B.%20Juarez.txt?dl=0

5
  • Podrías agregar un enlace a los archivos? Parece que son públicos, así que no debería haber problemas. Eso ayudaría a trabajar con la fuente original y ver si hay metadatos (como nombres de archivos) que ayuden a solucionar el problema.
    – mpaladino
    Commented el 26 abr. 2022 a las 16:25
  • @mpaladino Disculpa la ignorancia, ¿por cuál medio lo puedo subir y compartirlo?
    – kev
    Commented el 26 abr. 2022 a las 17:05
  • Siempre puedes editar tu pregunta usando en botón "Editar" que aparece debajo. Si a los archivos los estás descargando de algún sitio público, tipo CONAGUA o similar, puedes poner el enlace a ese sitio o mejor aún directamente al archivo. Si solo los tienes localmente puedes subir uno o más archivos a algún servicio para compartir archivos (tipo la carpeta pública de DropBox o similar) y compartir ese enlace. Ojalá te sea de ayuda y sin complejos, que aquí todos y todas venimos a aprender.
    – mpaladino
    Commented el 26 abr. 2022 a las 17:20
  • Muchas gracias @mpaladino. Ahí lo subí a la pregunta
    – kev
    Commented el 26 abr. 2022 a las 17:23
  • Que formato espantoso de datos! A ver que se puede hacer... ;)
    – mpaladino
    Commented el 26 abr. 2022 a las 17:37

2 respuestas 2

1

Una solución bastante elegante con tidyr.

La idea es leer a todo el archivo de text con readLines, de modo que cada línea sea un elemento en un vector de cadenas de caracteres. Pasar rápidamente a ese vector a un data.frame y usar dplyr + tidyr para limpiar y separar los datos.

con <- file("190068 B. Juarez.txt", blocking = FALSE) #Abres al archivo como una conexión, si no se complica para encontrar el fin del archivo.
readLines(con, encoding = "UTF-8") -> foo  #Y lo lees línea por línea
close(con)   

tibble(crudo = foo) %>% 
  filter(str_detect(crudo, "^A|^[0-9]")) %>% #Dejo solo las filas que me interesan
  mutate(año = str_detect(crudo, "^A"), 
         dato = str_detect(crudo, "^[0-9]")) %>%  #Dos vectores lógicos para identificar filas año y filas dato
  group_by(cumsum(año)) %>%                        #El cumsum crea los grupos para cada año
    mutate(año = str_match(crudo[1], "(\\d{4})")[1]) %>%   #Extraigo el año (la parte numérica de esa cadena) y la paso a columna nueva, por grupo_by cambia de año para cada grupo
  ungroup() %>% 
  filter(dato) %>%     #Quito las filas fecha, ya no las necesito
  separate(crudo, into = nombres_columna, sep = ";") %>%   #Acá está la magia: separo en columnas definidas por ";"
  select(Día:año)  %>%                                     #Saco las columnas que ya no necesito.
  pivot_longer(Ene:Dic,             #Pivoteo para pasar a formato largo
               names_to = "Mes", 
               values_to = "Precipitaciones")

1ra solución, mucho más complicada

Le encontré una solución. Son espantosos los archivos con los que están distribuyendo esos datos, así que la solución a fuerzas tiene que ser un Frankenstein. En este caso hay una mezcla de tidyverse con R base que se podría estandarizar mejor para hacer más mantenible al código.

Trato de explicarla en los comentarios, pero sigue siendo complicada porque usa expresiones regulares e iteración sobre listas.

La idea es leer a cada línea del archivo como un vector, luego separar a los datos (precipitaciones por día y mes) de los años a los que corresponden, luego dentro de cada línea/día con datos separar los datos de cada mes y finalmente volver a juntar todo.

library(tidyverse)
con <- file("190068 B. Juarez.txt", blocking = FALSE) #Abres al archivo como una conexión, si no se complica para encontrar el fin del archivo. Modifica el path si es diferente.
readLines(con, encoding = "UTF-8") -> foo  #Y lo lees línea por línea
close(con)                                 #Cierras la conexión

foo

# Estos serán los nombres de columna del data.frame
nombres_columna <- c("Día","Ene","Feb","Mar","Abr","May","Jun","Jul","Ago","Sep","Oct","Nov","Dic")

# Aquí te quedas con el cuerpo de los datos, todas las líneas que empiezan con un número.
foo [grep("^[0-9]", foo)] -> cuerpo

# Y aquí con las líneas que tienen el año, empiezan con A mayúscula

foo [grep("^A", foo)] -> año

# Y te quedas solo con la parte numérica, el año. 

gsub(".*?([0-9]+).*", "\\1", año) -> año

# Complicado: detectas cada línea que empieza con un 1 (primer día del año)
# Luego lo usas como inicio para una suma acumulada (los no 1 son FALSE y suman 0)
# Y usas ese vector para separar a los datos de cada años en un lista

split(cuerpo, cumsum(grepl("^1;", cuerpo))) -> lista_años

# Nombras la lista, cada bloque pertenece a un año y está en la misma secuencia de la suma acumulada
names(lista_años) <- año

# Tomas la lista

lista_años %>% 
  #Iteras para separar a cada línea (vector) en elementos separados usando el patrón ";"
  #TE queda una lista dentro de una lista
  map(~str_split(.x, pattern = ";") %>%  
  # Dentro del map a esa "lista interna" le aplicas rbind para convertirla en una matriz. No sé porque funciona, misterios de R base.
  do.call("rbind", .) %>% 
  # La coercionas a data.frame
    as.data.frame %>% 
  # Después le pones los nombres de columna que ya tenías  
    setNames(nombres_columna)) %>% 
  #Ya fuera del map juntas todos esos data.frame en uno solo
  
  bind_rows(.id = "año") -> df_ancho

# Para el resultado final pivoteas los datos y ya. 
df_ancho %>% 
  select(-...14) %>% 
  pivot_longer(cols = Ene:Dic, names_to = "Mes", values_to = "Precipitaciones")

Y te que esto:

 A tibble: 1,860 × 4
   año   Día   Mes   Precipitaciones
   <chr> <chr> <chr> <chr>          
 1 2018  1     Ene   S/P            
 2 2018  1     Feb   S/P            
 3 2018  1     Mar   S/P            
 4 2018  1     Abr   S/P            
 5 2018  1     May   S/P            
 6 2018  1     Jun   1,0            
 7 2018  1     Jul   0,2            
 8 2018  1     Ago   S/P            
 9 2018  1     Sep   S/P            
10 2018  1     Oct   S/P            
# … with 1,850 more rows

Quizás sea más simple en algún paso intermedio escribir un .csv decente y leerlo, pero con esta solución no dependes de privilegios de escritura.

3
  • no entiendo por qué distribuyen los datos de esa forma. Tu respuesta fue de gran ayuda. Muchas Gracias
    – kev
    Commented el 27 abr. 2022 a las 16:07
  • ¿Cómo se puede convertir la columna Precipitaciones en formato numérico para poder trabajar con group by y summarise ?
    – kev
    Commented el 28 abr. 2022 a las 15:35
  • 1
    Si esta respuesta es.stackoverflow.com/questions/135439/… no te sirve quizás deberías formular una nueva pregunta, ya que es un problema diferente.
    – mpaladino
    Commented el 28 abr. 2022 a las 15:52
1

Un alternativa con R base. La idea es relativamente simple:

  1. Leemos todo el archivo, eliminando filas en blanco
  2. Eliminamos algunas líneas/filas que no participan del proceso
  3. Nos quedamos con un lista de líneas que podemos dividir en bloques de 33 para cada año
  4. Obtenemos el año leyendo las filas adecuadas
  5. Dividimos cada bloque por año y sobre esta lista aplicamos un read.csv() para leer cada data.frame individual
  6. Unimos todo en un gran data.frame final y agregamos la columna de Año

file <- '~/../../Downloads/190068 B. Juarez.txt'

# Leemos el earchivo completo, cada línea una fila
df <- read.delim(file, 
                 sep = "\n", 
                 header = FALSE, 
                 skip = 1, 
                 col.names="linea",
                 strip.white = TRUE,
                 blank.lines.skip = TRUE)

# Eliminamos filas que no interesan
lineas <- df[-grep('Estación Meteorológica|Datos Preliminares|Total;', df$linea), ]

# Nos quedamos con bloques de 33 líneas
bloques <- length(lineas) / 33
años_idx <- (((1:bloques) - 1) * 33) + 1
años <- regmatches(lineas[años_idx],regexpr("[0-9]+",lineas[años_idx]))

# Separamos cada bloque en una lista
lapply(split(lineas, rep(años, each=33)),
       FUN=function(x) {read.csv(text=paste0(x, collapse = '\n'),
                                 header = TRUE, skip = 1, sep=";")
       }
) -> l

# Juntamos cada elemento de la lista en un df y adignamos el año
final <- do.call(rbind, l)
final$año <- substr(rownames(final), 1, 4)

rownames(final) <- NULL

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.