1

Tengo el siguiente conjunto de consultas SQL (que se ejecuta desde Django utilizando sentencias planas, pero no viene al caso):

BEGIN;
INSERT cientos de millones de tuplas;
UPDATE algunas pocas tuplas;
DELETE cientros de millones de tuplas;
COMMIT;

Mis parámetros de la DB fueron calculados con PgTune:

# DB Version: 13
# OS Type: linux
# DB Type: web
# Total Memory (RAM): 8 GB
# CPUs num: 4
# Data Storage: hdd

max_connections = 200
shared_buffers = 2GB
effective_cache_size = 6GB
maintenance_work_mem = 512MB
checkpoint_completion_target = 0.7
wal_buffers = 16MB
default_statistics_target = 100
random_page_cost = 1.1
effective_io_concurrency = 200
work_mem = 5242kB
min_wal_size = 1GB
max_wal_size = 4GB
max_worker_processes = 4
max_parallel_workers_per_gather = 2
max_parallel_workers = 4
max_parallel_maintenance_workers = 2

# Needed
listen_addresses = '*'

En vista de que consumía mucho, setee los parámetros (como indican los comentarios del archivo .conf) a la mitad de la RAM (el server donde corre tiene 16GB).

El tema es que Postgres me está consumiendo mucha memoria (más de 10 GB). ¿No hay manera de evitar este consumo indicando, mediante algún parámetro, que se utilice más el disco u otra estrategia? Estuve leyendo pero todos los parámetros que encontré afectan la memoria utilizada para ciertas operaciones, eso impacta en la performance del procedimiento completo, pero no en la RAM total consumida por el mismo, por lo que no me sirve.

Desde ya muchas gracias

8
  • Los parámetros de configuración permiten decirle a PGSQL cuánta memoria asignar. En su formato actual, la pregunta es muy amplia (pues no sabemos si estás afectando índices, tablas particionadas, etc). Tampoco sabemos nada de la configuración de tu instancia de postgres. Por favor, añade más info sobre estos dos aspectos. Puedes incluir los parámetros relevantes o todo el archivo postgresql.conf en tu pregunta. Si quieres rapidez y poco uso de memoria, eso es mucho más difícil pues no hay almuerzo gratis y no puedes esperar que vaya y vuelva al disco sin afectar el desempeño...
    – Alfabravo
    Commented el 12 nov. 2020 a las 23:30
  • Hola @Alfabravo , Gracias por tu comentario. Tenés razón en que le faltaron detalles a la pregunta. Ahí agregué la configuración de Postgres que estoy utilizando. A esta altura sacrificar un poco de performance por robustez no me preocupa, pero se me cae el server cada vez que quiero hacer uso de estas funciones costosas
    – Genarito
    Commented el 12 nov. 2020 a las 23:39
  • ¿Estás seguro que los procesos de postgres están consumiendo esa cantidad de memoria ram?, lo haz verificado con un top, conforme al arquitectura multiproceso de postgres con top (en linux) puedes ver que proceso esta consumiendo la memoria. Solo es para comprobar si es el proceso que haces a través de la aplicación el que esta consumiendo la memoria. Tengo una ligera sospecha de porque el consumo y principalmente creo que es la transacción. Pero quisiera primero que comprobarás que la conexión de postgres es la que esta gastando ese consumo.
    – DrakoRod
    Commented el 12 nov. 2020 a las 23:42
  • Cómo no! Acá le dejo una img! 56% de la memoria y subiendo! Si remuevo la transacción no hay tal consumo, así que estoy casi seguro que ese es el problema
    – Genarito
    Commented el 12 nov. 2020 a las 23:53
  • Si ya veo, ¿cuantos millones de registros aproximadamente insertas? después de eso actualizas esos registros y luego los eliminas? pero son los mismo registros que insertas o son otros?
    – DrakoRod
    Commented el 13 nov. 2020 a las 0:07

0

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

Examina otras preguntas con la etiqueta o formula tu propia pregunta.