Preguntas iniciales
Voy a responderte con los datos aportados en los comentarios a la espera de que modifiques la pregunta en base a ellos.
¿Se puede forzar en C que una variable se almacene en el disco duro, en lugar de la RAM?
Las variables SIEMPRE se almacenan en la memoria del ordenador y no es posible realizar lo que preguntas tal y como lo planteas.
Ahora bien, atendiendo a los datos adicionales que aportas en los comentarios, es posible mapear el contenido de un archivo en memoria. El sistema operativo gestionará los cambios de página entre memoria y el archivo de manera transparente al programador.
¿cómo se podría obtener una lectura de la memoria usada en tiempo real, de manera que un programa se aborte automáticamente si ocupa demasiada?
El lenguaje de programación C no provee mecanismos para consultar el uso de memoria de una aplicación.
Ahora bien, atendiendo a los datos adicionales proporcionados en los comentarios, tienes dos soluciones posibles.
Respuestas específicas
Teniendo en cuenta la naturaleza de tu código (deseas hacer uso de una zona de memoria que va creciendo con el paso del tiempo) y la plataforma en la que lo ejecutas (Ubuntu), las soluciones que te propongo (junto con una leve modificación a las preguntas para que estén más acordes a tu problema) son las siguientes:
¿Se puede mapear en C el contenido de un archivo para usarlo en mi aplicación como si fuera parte de la memoria?
Sí. Prácticamente todos los sistemas operativos actuales soportan mapeo de archivos en memoria. Es una técnica similar a la memoria virtual, en la que el sistema operativo gestiona los fallos de página para traer zonas del archivo a la memoria y volcarlas de nuevo al archivo con cada modificación de manera transparente.
En sistemas operativos POSIX se usa mmap
:
Since mmapped pages can be stored back to their file when physical memory is low, it is possible to mmap files orders of magnitude larger than both the physical memory and swap space. The only limit is address space.
La traducción:
Como las páginas mapeadas en memoria pueden ser almacenadas de vuelta en su archivo cuando la memoria física es baja, es posible mapear en memoria archivos de órdenes de magnitud superior que la memoria física y de intercambio juntas. El único límite es el espacio de direccionamiento.
En Windows puedes consultar: https://msdn.microsoft.com/en-us/library/ms810613.aspx
Un ejemplo muy sencillo de uso de mmap
lo tienes en el siguiente gist:
#include <stdio.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/stat.h>
#include <assert.h>
int main(int argc, char** argv) {
double *datos;
int fd;
size_t filesize;
/* Si no indicamos el archivo a usar, fallamos la ejecución */
if (argc != 2) {
fprintf(stderr, "Uso: %s <archivo>\n", argv[0]);
return 1;
}
/* Tratamos de crear el archivo nuevo */
fd = open(argv[1], O_RDWR | O_CREAT | O_EXCL, S_IRWXU);
/* Si falla la creación tratamos de abrirlo */
if (fd == -1) {
struct stat st;
/* Abrimos el archivo previo */
fd = open(argv[1], O_RDWR);
assert(fd != -1);
}
/* Reservamos la memoria que deseemos, es el equivalente al "malloc" */
filesize = 12000 * sizeof(double);
/* Creamos el archivo al tamaño deseado */
ftruncate(fd, filesize);
/* Mapeamos el contenido del archivo en memoria */
datos = (double *)mmap(NULL, filesize, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_POPULATE, fd, 0);
assert(datos != MAP_FAILED);
/* Leemos el valor inicial y lo modificamos */
printf("Datos iniciales: %lf\n", datos[0]);
datos[0] = 3.141592;
/* Desmapeamos el archivo de la memoria */
int rc = munmap(datos, filesize);
assert(rc == 0);
/* Cerramos el archivo */
close(fd);
}
Un ejemplo de funcionamiento:
$ ./ejemplo /tmp/ejemplo
Datos iniciales: 0.000000
$ ./ejemplo /tmp/ejemplo
Datos iniciales: 3.141592
$ ls -ltrh /tmp/ejemplo
-rwx------ 1 ... 94K ... /tmp/ejemplo
$ du -hs /tmp/ejemplo
4,0K /tmp/ejemplo
Donde puedes ver que se hace uso de archivos dispersos (sparse files) para almacenar la información. Sólo las áreas de memoria con valores diferentes de 0
s ocupan espacio en disco. En este ejemplo se hace uso de 4K en disco (el tamaño mínimo de un archivo) aunque se muestre 94K como tamaño del mismo.
Ese código no funcionará en Windows, por lo que te he dejado un ejemplo portable haciendo uso de boost
en el este gist.
¿Cómo podría limitar el uso de memoria o bien obteniendo el uso para controlarlo o bien de otra manera?
En sistemas operativos POSIX tienes disponible getrusage()
(ver ejemplo más adelante).
Pero, más interesante aún, tu sistema operativo te permite limitar los recursos usados a través de la herramienta de la shell del sistema ulimit
o bien a través de la función C setrlimit()
.
Usando limit
podríamos limitar el uso de memoria de lo que ejecutemos de este momento en adelante en esa consola (si cambiamos a otra no se habrá alterado y si creamos una nueva el límite se restablecerá) de la siguiente manera:
$ ulimit -v $((100*1024))
De esta manera limitaremos el uso a 100 MB de memoria de ese momento en adelante (hasta cerrar ese terminal y sólo lo que se ejecute dentro de él).
A través de setrlimit
necesitarás asignar RLIMIT_AS
:
#include <stdio.h>
#include <sys/time.h>
#include <sys/resource.h>
#include <stdlib.h>
int main(int argc, char** argv) {
void *mem1, *mem2;
struct rusage uso;
struct rlimit limite;
/* Limitamos la memoria a 100 MB */
limite.rlim_cur = limite.rlim_max = 100 * 1024 * 1024;
setrlimit (RLIMIT_AS, &limite);
/* Pedir 10 KB será posible */
mem1 = malloc(10 * 1024);
printf("Memoria 1: %p\n", mem1);
/* Pedir 100 MB adicionales ya no será posible */
mem2 = malloc(100 * 1024 * 1024);
printf("Memoria 2: %p\n", mem2);
/* Mostrará el uso de memoria (sólo la primera reserva más pila) */
getrusage(RUSAGE_SELF, &uso);
printf("Uso de memoria: %ld KB\n", (long)uso.ru_maxrss);
}
El resultado de la ejecución sería:
$ ./ejemplo
Memoria 1: 0x899010
Memoria 2: (nil)
Uso de memoria: 4988 KB
Falló la segunda petición de memoria debido a haber excedido los límites impuestos.
El contenido de ru_maxrss
está en KB:
ru_maxrss
This is the maximum resident set size used (in kilobytes).
mmap
que te permiten acceder a archivos como si fueran zonas de memoria normales, pero al final siempre estará pasando la información por la memoria. Si quieres persistencia deberás guardar la información en un archivo y SIEMPRE pasarás en algún momento por un almacenamiento temporal (buffer) en memoria que no podrás saltarte. En cuanto al uso de memoria, le doy mi +1 a @Paula_plus_plus por indicarte lo mismo que yo, que depende del sistema operativo. – OscarGarcia el 14 feb. 18 a las 13:24mmap
y la solución que te dije que adopta Windows, pero quizá haya una forma de manejar tal cantidad de elementos de una manera mejor en la que no todos deban estar al mismo tiempo en memoria o disco (por poner un ejemplo). – OscarGarcia el 14 feb. 18 a las 13:56