El problema no se debe a NumPy o Python sino a que estas creando una matriz que necesita más espacio de memoria (RAM + memoria virtual) del que tu equipo dispone.
numpy.zeros()
por defecto crea un array de float64
. Teniendo esto en cuenta:
- 55000 * 55000 = 3025000000 floats.
- 3025000000 floats * 64 bits/float = 193600000000 bits.
- 193600000000 bits / 8 bits/byte = 24200000000 bytes.
- 24200000000 bytes/10**9 bytes/Gbyte = 24.2 Gbytes aproximadamente.
Ante esto, suponiendo que sea necesario abordar tu problema mediante matrices de este tamaño, tenemos varias opciones:
Usar numpy.memmap
para crear la matriz en el disco duro y trabajar sobre ella. Lo básico sería:
import numpy as np
N = 55000
filename = 'metric_space.dat'
metric_space = np.memmap(filename, dtype='float64', mode='w+', shape=(N,N))
Esto nos crea un archivo persistente en disco sobre la que podemos trabajar sin fundir la RAM. Podemos usar la matriz en otro momento y seguir trabajando con ella simplemente cambiando el modo de apertura a 'r+'
para no sobreescribirla.
Otra opción es, si vas a trabajar con matrices dispersas (en las que la mayoría de elementos tienen valor de 0)(Sparse matriz), usar scipy.sparse.csc_matrix
.
import scipy
import scipy.sparse
N = 55000
metric_space = scipy.sparse.csc_matrix((N,N), dtype= scipy.float64 ).todense()
En este caso no se guarda la matriz en el disco sino que se almacena más eficientemente en memoria. Esto no evita que en un momento dado también puedas superar la memoria disponible en tu equipo ya que la eficiencia del almacenamiento depende del número de elementos que son 0 en tu matriz en un momento dado. Por esta razón, hay que ser cuidadoso en su uso. Puedes crear esa matriz sin problemas, pero si todos sus elementos no son 0 (por ejemplo haciendo metric_space + 1.2
) tendrás otro error de memoria.
Usar NumPy junto a PyTables.
Dependiendo de tu problema y necesidades específicas podrias tomar muchos otros caminos como hacer que tu algoritmo trabaje con submatrices en vez de con una matriz de este tamaño, usar SFrame, etc.
Ten en cuenta que por muy eficiente que sea el algoritmo usado, trabajar con datos almacenados en disco va a ser siempre más lento que con datos cargados en memoria física (la lectura/escritura en el HDD/SSD va a ser un cuello de botella siempre). Dependiendo de tu caso real, puedes ajustar tu código para intentar trabajar lo máximo posible en memoria (usando submatrices por ejemplo) y limitar al máximo la escritura/lectura en el disco, pero esto ya depende de lo que intentes hacer y de las necesidades de eficiencia que tengas.