2

Esty corriendo un script para correlacionar raster, son capas de variables marinas para el mundo entero, por lo que son un poco pesadas en cuanto a información, la resolución del raster es 9 km en cada pixel, este es el script:

memory
rm(list = ls())

# packages
library(caret)
library(corrplot)
library(GGally)
library(landscapetools)
library(raster)
library(rgdal)
library(tidyverse)

# directory
path <- "/home/mude/Downloads/Recortado actual"
setwd(path)
dir()

# import rasters -------------------------------------------------
# list variables
asc <- dir(pattern = ".asc$")
asc

# import
var <- raster::stack(asc)
var

# names
names(var) <- names(var) %>% stringr::str_replace("X", "var")
names(var)

landscapetools::show_landscape(var[[1]])

# extract values
var_da <- var %>% 
  raster::values() %>% 
  na.omit

# verify
head(var_da)
dim(var_da)

# correlation ----------------------------------------------------
# directory
dir.create("correlation")
setwd("correlation")

# correlation spearman
corr <- cor(var_da, method = "spearman")
corr

# export
readr::write_csv(tibble::as_tibble(corr), "correlation.csv")

# correlation plot
corrplot::corrplot(corr, type = "lower", diag = FALSE, tl.srt = 45, mar = c(3, 0.5, 2, 1))

# export figure
tiff("corr.tif", wi = 18, he = 18, units = "cm", res = 300, comp = "lzw+p")
corrplot::corrplot(corr, type = "lower", diag = FALSE, tl.srt = 45, mar = c(3, 0.5, 2, 1))
dev.off()

# select variables -------------------------------------------------------------
# verify
caret::findCorrelation(corr, cutoff = .7, names = TRUE, verbose = TRUE)

# correlated variables
fi <- caret::findCorrelation(corr, cutoff = .7)
fi

# new test
corr_fi <- cor(var_da[, -fi], method = "spearman")
corr_fi

# verify
caret::findCorrelation(corr_fi, cutoff = .7, names = TRUE, verbose = TRUE)

# export
readr::write_csv(tibble::as_tibble(corr_fi), "correlation_fi.csv")

# graphic
ggpairs(var_da[, -fi] %>% tibble::as_tibble() %>% dplyr::sample_n(1e3), 
        lower = list(continuous = wrap(ggally_points, pch = 21, color = "black", fill = "blue", size = 2, alpha = .7)),
        diag = list(continuous = wrap(ggally_barDiag, color = "gray10", bins = 15)),
        upper = list(continuous = wrap(ggally_cor, color = "black", size = 5, method = "spearman"))) +
  theme_bw() +
  theme(text = element_text(colour = "black"),
        axis.text = element_text(size = 8, colour = "black"), 
        strip.text.x = element_text(size = 13),
        strip.text.y = element_text(size = 13), 
        panel.grid.major = element_line(colour = "white"))

# export
ggsave("correlation_plot.tiff", wi = 20, he = 15, un = "cm", dpi = 300, comp = "lzw+p")

# end 

pero donde dice

landscapetools::show_landscape(var[[1]])

# extract values
var_da <- var %>% 
  raster::values() %>% 
  na.omit

# verify
head(var_da)
dim(var_da)

me pone el siguiente error: ERROR: cannot allocate vector of size 854.3 Mb como puedo forzar a la maquina a hacerlo¿?`Necesito forzar a la maquina a correr el código, como puedo aumentar el uso de memoria de la maquina para el programa R corra el código?..Se puede correr este codigo en algun lugar en internet si mi maquina no me permitiera hacerlo?

2
  • Entiendo que estás corriendo esto sobre un linux, no? de 64 bits? Commented el 28 ago. 2019 a las 1:04
  • si asi es, ya se me ha reiniciaod varias veces Commented el 28 ago. 2019 a las 17:24

1 respuesta 1

1

Pareciera que el problema es este: var_da <- raster::values(var) (lo simplifico sin pipes), tienes un objeto var seguramente enorme, y haces algún tipo de transformación que genera otro objeto var_da también de un importante en tamaño. Lamentablemente, hasta el momento del error, tienes un "deficit" de 854Mb. R, y casi cualquier programa existente, maneja sus datos en memoria RAM, el tema es que, a diferencia de la mayoría de los programas, para las operaciones en la que se usa R, es habitual trabajar con grandes cantidades de datos. R, en la medida que el sistema operativo se lo permita, va a reclamar la mayor cantidad de memoria física disponible para lo que se necesite, por lo que cuando obtenemos un error como el tuyo, hemos llegado al límite y el SO no nos puede dar más.

¿Existe alguna solución general?

Existen varias eventuales u no del todo seguras soluciones. Podemos explorar algunas de ellas.

  • Incrementar la memoria física: La opción más segura, siempre que sea posible económica y técnicamente. En tu caso, 1 o 2 gbytes de RAM adicionales, solucionarían el problema (al menos hasta el momento del error, hay que ver si luego tu script requiere más ram)

  • Reducir el uso de memoria. Estamos sobre un linux, entonces podrías probar (a) Cerrar todo programa corriendo innecesario (b) Deshabilitar todo servicio/demonio que no necesitemos en este momento (c) Como forma drástica, iniciar linux en modo texto, y ejecutar el script directamente con R (no Rstudio), para evitar la carga del servidor X que siempre es el que mas memoria se lleva (cuidado, muchas de las operaciones en R, aunque no se manifiesten de forma gráfica, requieren funcionalidad del servidor X). (d) No está de más quitar toda carga de librerías u objetos innecesarias en tu script.

  • Ejecutar tu script en otro equipo con más recursos. Si tienes un colega que te puede prestar su equipo sería ideal. Puedes probar el servicio gratuito en la nube de Rstudio, tenían planes de subir la cuota de ram de 1Gb a algo más, habría que probarlo. Otra alternativa es usar (con costo) algún proveedor de servicios en la nube tipo Amazon (Microsoft, IBM y google entre otros, deben tener opciones parecidas), que te permitiría contratar la configuración deseada por un límite reducido de tiempo (el que necesites)

  • Reducir el tamaño de la muestra. Hasta dónde entiendo, estas agrupando un conjunto de imágenes raster en layers en el objeto var, ¿Se puede reducir esta cantidad de layers? ¿Es posible interporlar esta imágenes para reducir la resolución?

¿Y alguna solución particular?

Como ya dije, pareciera que el problema está aquí var_da <- raster::values(var), values() genera una matriz enorme de enteros (cada columna es un layer), luego, según entiendo quitas aquellas filas dónde en algún layer tienes un NA con na.omit, si eventualmente se repitieran NA en la fila completa, una forma alternativa sería reemplazar esto:

var %>% 
  raster::values() %>% 
  na.omit

Por:

var_da <- na.omit(rasterToPoints(var )[,-c(1,2)])

Según la documentación de rasterToPoints():

Raster to point conversion. Cells with NA are not converted.

Y lo que nos retorna:

A matrix with three columns: x, y, and v (value), or a SpatialPointsDataFrame object

Importante: el éxito de este método va a depender de cuantas filas tienen NA en todos los layers.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.