0

Hola tengo 12 archivos cvs la mayoría pesa arriba de 120 MB, quise leerlos y unirlos en Rstudio cloud (me sucede lo mismo con la version de escritorio) y no he podido, logro la lectura de 5 archivos y no continua con los demás, me manda el mensaje "Error: Error occurred during transmission" y una ventana "the previous r session was abnormally terminated due to an unexpected crash" y se me reinicia RStudio. Alguien podría ayudarme a saber porque sucede y como podría solucionarlo? Intente con excel pero sobrepaso su capacidad de 1 millón de filas, tengo 5.7 millones de filas.

library(readr)
library(data.table)
path <- '/cloud/project'
setwd(path)
files <- list.files(pattern = '*.csv')
files
d202202 <- read.csv(files[1])
d202203 <- read.csv(files[2])
d202204 <- read.csv(files[3])
d202205 <- read.csv(files[4])
d202206 <- read.csv(files[5])
d202207 <- read.csv(files[6])
d202208 <- read.csv(files[7])
d202209 <- read.csv(files[8])
d202210 <- read.csv(files[9])
d202211 <- read.csv(files[10])
d202212 <- read.csv(files[11])
d202301 <- read.csv(files[12])
8
  • Me suena a que se trata de un problema de memoria Por lo que cuentas del proceso necesitas al menos la memoria RAM suficiente para manejar el doble de los 5.7 millones de filas, aunque depende de como estés haciendo el proceso de carga, puede que necesites muchos más. Ten en cuenta que Rstudio Cloud, al menos la versión gratuita tiene un limite de memoria incluso más bajo que el de un equipo de escritorio. Commented el 7 mar. 2023 a las 12:24
  • Primer tema que deberías analizar, antes que importar los datos, ¿tienes memoria suficiente para manejar 5.7 millones de filas? si la tuvieras, entonces tendría sentido importar los datos, el tema es como lo estás haciendo, desconozco por que no publicaste nada de código. Una alternativa para "juntar" archivos es no usar R sino las herramientas del SO para juntar físicamente cada uno, pero depende que el formato sea siempre el mismo y eliminar eventualmente cabeceras repetidas. Commented el 7 mar. 2023 a las 12:27
  • Te sugiero: edita la pregunta y agrega (1) un ejemplo de las dos primeras líneas de dos archivos, (2) muestranos el código que estás usando para importar los CSV. Commented el 7 mar. 2023 a las 12:29
  • Y me olvidaba, Bienvenida a Stack Overflow en español, te sugiero que hagas el recorrido de bienvenida y de paso ganes tu primer medalla, también es muy importante que leas Cómo preguntar para poder mejorar tu pregunta y que sea bien recibida por la comunidad mejorando así, tus chances de obtener buenas respuestas. Commented el 7 mar. 2023 a las 13:10
  • @PatricioMoracho Gracias por aclararme lo de la capacidad de procesamiento y sugerencias, estoy iniciando y saltan muchas dudas. Commented el 9 mar. 2023 a las 22:43

1 respuesta 1

0

puedes convertir tus archivos .csv en .rds o .RData con la función saveRDS(), así tendrán menos pesos y será más fácil de leer, ejemplo:

Guardando

saveRDS("datos.xlsx", "resultados.rds")

Lectura de datos

readr::read_rds("resultados.rds")

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.