0

Tengo ese mensasje cada 15 0 30 minutos en mi servidor y no puedo detectar cuales seria la consulta que se genera que hace que se de ese percance o la cantidad de MaxClient a utilizar para no estar reiniciando el servidor.

He revisado y tenemos picos pero no se si es alguna consulta que genera. Normalmente se mantiene en 207 usuarios, pero no se si existe algun otro problema. La base de datos no tiene indices, no es relacional y el codigo es creado en php y codechart.

Version de apache Server version: Apache/2.4.7 (Ubuntu)
MySQL Server version: 5.5.62-0ubuntu0.14.04.1-log (Ubuntu).
El PHP es la version PHP 5.5.9-1ubuntu4.29 (cli) (built: Apr 22 2019 18:33:52) 

Configuración de apache:

    <IfModule mpm_prefork_module>
            StartServers                    15
            MinSpareServers                 15
            MaxSpareServers                 20
            MaxRequestWorkers               340
            MaxClients                      290
            MaxConnectionsPerChild          3600
    </IfModule>

KeepAlive de apache:

    /etc/apache2/apache2.conf:KeepAlive On
    MaxKeepAliveRequests 100
    KeepAliveTimeout 5

Configuración de mysql

    [client]
    port            = 3306
    socket          = /var/run/mysqld/mysqld.sock
    default-character-set=utf8
    
    [mysqld_safe]
    socket          = /var/run/mysqld/mysqld.sock
    nice            = 0
    
    [mysqld]
    user            = mysql
    pid-file        = /var/run/mysqld/mysqld.pid
    socket          = /var/run/mysqld/mysqld.sock
    port            = 3306
    basedir         = /usr
    datadir         = /var/lib/mysql
    tmpdir          = /tmp
    lc-messages-dir = /usr/share/mysql
    skip-external-locking
    skip-innodb
    skip-name-resolve
    default-storage-engine=MyISAM
    collation-server = utf8_unicode_ci
    init-connect='SET NAMES utf8'
    character-set-server = utf8
    #bind-address           = 127.0.0.1

    key_buffer              = 2G
    max_allowed_packet      = 256M
    thread_stack            = 192K
    thread_cache_size       = 8
    # This replaces the startup script and checks MyISAM tables if needed
    # the first time they are touched
    myisam-recover         = BACKUP
    max_connections        = 180
    #table_definition_cache = 600
    table_open_cache       = 400
    table_cache            = 800
    sort_buffer_size       = 6M
    join_buffer_size       = 120M
    tmp_table_size         = 60M
    max_heap_table_size    = 60M
    #thread_concurrency     = 10
    #
    # * Query Cache Configuration
    #
    query_cache_type        = 1
    query_cache_limit       = 2M
    query_cache_min_res_unit = 2K
    query_cache_size        = 90M
    #
    # * Logging and Replication
    #
    # Both location gets rotated by the cronjob.
    # Be aware that this log type is a performance killer.
    # As of 5.1 you can enable the log at runtime!
    general_log_file        = /var/log/mysql/mysql.log
    general_log             = 1
    #
    # Error log - should be very few entries.
    #
    log_error = /var/log/mysql/error.log
    #
    # Here you can see queries with especially long duration
    #log_slow_queries       = /var/log/mysql/mysql-slow.log
    #long_query_time = 1
    #log-queries-not-using-indexes
    #
    # The following can be used as easy to replay backup logs or for replication.
    # note: if you are setting up a replication slave, see README.Debian about
    #       other settings you may need to change.
    #server-id              = 1
    log_bin                 = /var/log/mysql/mysql-bin.log
    expire_logs_days        = 1
    max_binlog_size         = 10M
    binlog_do_db            = include_database_name
    binlog_ignore_db        = include_database_name
    #
    # * InnoDB
    #
    # InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.
    # Read the manual for more InnoDB related options. There are many!
    #
    # * Security Features
    #
    # Read the manual, too, if you want chroot!
    # chroot = /var/lib/mysql/
    #
    # For generating SSL certificates I recommend the OpenSSL GUI "tinyca".
    #
    # ssl-ca=/etc/mysql/cacert.pem
    # ssl-cert=/etc/mysql/server-cert.pem
    # ssl-key=/etc/mysql/server-key.pem
    
    [mysqldump]
    quick
    quote-names
    max_allowed_packet      = 16M
    
    [mysql]
    #no-auto-rehash # faster start of mysql but no tab completition
    
    [isamchk]
    key_buffer              = 16M

Ejecución de mysqltuner:

     >>  MySQLTuner 1.8.5 - Major Hayden <[email protected]>
     >>  Bug reports, feature requests, and downloads at http://mysqltuner.pl/
     >>  Run with '--help' for additional options and output filtering
    
    [--] Skipped version check for MySQLTuner script
    [OK] Logged in using credentials from Debian maintenance account.
    [!!] Your MySQL version 5.5.62-0ubuntu0.14.04.1-log is EOL software!  Upgrade soon!
    [OK] Operating on 64-bit architecture
     
    -------- Log file Recommendations ------------------------------------------------------------------
    [OK] Log file /var/log/mysql/error.log exists
    [--] Log file: /var/log/mysql/error.log(26K)
    [OK] Log file /var/log/mysql/error.log is not empty
    [OK] Log file /var/log/mysql/error.log is smaller than 32 Mb
    [OK] Log file /var/log/mysql/error.log is readable.
    [!!] /var/log/mysql/error.log contains 249 warning(s).
    [OK] /var/log/mysql/error.log doesn't contain any error.
    [--] 5 start(s) detected in /var/log/mysql/error.log
    [--] 1) 220302 10:58:56 [Note] /usr/sbin/mysqld: ready for connections.
    [--] 2) 220302 10:49:15 [Note] /usr/sbin/mysqld: ready for connections.
    [--] 3) 220302 10:27:51 [Note] /usr/sbin/mysqld: ready for connections.
    [--] 4) 220302  8:45:22 [Note] /usr/sbin/mysqld: ready for connections.
    [--] 5) 220302  8:42:47 [Note] /usr/sbin/mysqld: ready for connections.
    [--] 5 shutdown(s) detected in /var/log/mysql/error.log
    [--] 1) 220302 10:58:56 [Note] /usr/sbin/mysqld: Shutdown complete
    [--] 2) 220302 10:49:15 [Note] /usr/sbin/mysqld: Shutdown complete
    [--] 3) 220302 10:27:51 [Note] /usr/sbin/mysqld: Shutdown complete
    [--] 4) 220302  8:45:21 [Note] /usr/sbin/mysqld: Shutdown complete
    [--] 5) 220302  8:42:47 [Note] /usr/sbin/mysqld: Shutdown complete
     
    -------- Storage Engine Statistics -----------------------------------------------------------------
    [--] Status: +ARCHIVE +BLACKHOLE +CSV -FEDERATED -InnoDB +MEMORY +MRG_MYISAM +MyISAM +PERFORMANCE_SCHEMA 
    [--] Data in MyISAM tables: 5.1G (Tables: 479)
    [OK] Total fragmented tables: 0
     
    -------- Analysis Performance Metrics --------------------------------------------------------------
    [OK] No stat updates during querying INFORMATION_SCHEMA.
     
    -------- Security Recommendations ------------------------------------------------------------------
    [OK] There are no anonymous accounts for any database users
    [OK] All database users have passwords assigned
    [!!] There is no basic password file list!
     
    -------- CVE Security Recommendations --------------------------------------------------------------
    [--] Skipped due to --cvefile option undefined
     
    -------- Performance Metrics -----------------------------------------------------------------------
    [--] Up for: 2h 51m 41s (856K q [83.180 qps], 67K conn, TX: 282M, RX: 107M)
    [--] Reads / Writes: 87% / 13%
    [--] Binary logging is enabled (GTID MODE: OFF)
    [--] Physical Memory     : 93.9G
    [--] Max MySQL memory    : 69.4G
    [--] Other process memory: 0B
    [--] Total buffers: 2.1G global + 382.6M per thread (180 max threads)
    [--] P_S Max memory usage: 0B
    [--] Galera GCache Max memory usage: 0B
    [OK] Maximum reached memory usage: 20.1G (21.39% of installed RAM)
    [OK] Maximum possible memory usage: 69.4G (73.93% of installed RAM)
    [OK] Overall possible memory usage with other process is compatible with memory available
    [OK] Slow queries: 0% (65/856K)
    [OK] Highest usage of available connections: 26% (48/180)
    [OK] Aborted connections: 0.00%  (0/67252)
    [!!] Query cache may be disabled by default due to mutex contention.
    [OK] Query cache efficiency: 39.0% (165K cached / 424K selects)
    [OK] Query cache prunes per day: 0
    [OK] Sorts requiring temporary tables: 0% (27 temp sorts / 23K sorts)
    [!!] Joins performed without indexes: 16690
    [!!] Temporary tables created on disk: 27% (7K on disk / 28K total)
    [OK] Thread cache hit rate: 99% (446 created / 67K connections)
    [OK] Table cache hit rate: 98% (757 hits / 765 requests)
    [!!] table_definition_cache(400) is lower than number of tables(563) 
    [OK] Open file limit used: 69% (1K/1K)
    [OK] Table locks acquired immediately: 99% (459K immediate / 461K locks)
    [OK] Binlog cache memory access: 0% (0 Memory / 0 Total)
     
    -------- Performance schema ------------------------------------------------------------------------
    [--] Performance schema is disabled.
    [--] Memory used by P_S: 0B
    [--] Sys schema isn't installed.
     
    -------- ThreadPool Metrics ------------------------------------------------------------------------
    [--] ThreadPool stat is disabled.
     
    -------- MyISAM Metrics ----------------------------------------------------------------------------
    [!!] Key buffer used: 27.2% (556.7M used / 2.0G cache)
    [OK] Key buffer size / total MyISAM indexes: 2.0G/1.9G
    [OK] Read Key buffer hit rate: 100.0% (3B cached / 186K reads)
    [!!] Write Key buffer hit rate: 23.8% (265K cached / 63K writes)
     
    -------- InnoDB Metrics ----------------------------------------------------------------------------
    [--] InnoDB is disabled.
    [--] InnoDB Storage engine is disabled. MyISAM is the default storage engine
     
    -------- Aria Metrics ------------------------------------------------------------------------------
    [--] Aria Storage Engine not available.
     
    -------- TokuDB Metrics ----------------------------------------------------------------------------
    [--] TokuDB is disabled.
     
    -------- XtraDB Metrics ----------------------------------------------------------------------------
    [--] XtraDB is disabled.
     
    -------- Galera Metrics ----------------------------------------------------------------------------
    [--] Galera is disabled.
     
    -------- Replication Metrics -----------------------------------------------------------------------
    [--] Galera Synchronous replication: NO
    [--] No replication slave(s) for this server.
    [--] Binlog format: STATEMENT
    [--] XA support enabled: ON
    [--] Semi synchronous replication Master: Not Activated
    [--] Semi synchronous replication Slave: Not Activated
    [--] This is a standalone server
     
    -------- Recommendations ---------------------------------------------------------------------------
    General recommendations:
        MySQL was started within the last 24 hours - recommendations may be inaccurate
        Enable the slow query log to troubleshoot bad queries
        We will suggest raising the 'join_buffer_size' until JOINs not using indexes are found.
                 See https://dev.mysql.com/doc/internals/en/join-buffer-size.html
                 (specially the conclusions at the bottom of the page).
        When making adjustments, make tmp_table_size/max_heap_table_size equal
        Reduce your SELECT DISTINCT queries which have no LIMIT clause
    Variables to adjust:
        query_cache_size (=0)
        query_cache_type (=0)
        join_buffer_size (> 120.0M, or always use indexes with JOINs)
        tmp_table_size (> 60M)
        max_heap_table_size (> 60M)
        table_definition_cache(400) > 563 or -1 (autosizing if supported)

Solo es un dominio con varias ips que se tienen en el servidor. Es sistema transaccional de datos de ptes.

Solo tiene php puro, codechart Javascript.


Memoria ¿La CPU como la tienes en ese servidor? Está siempre alta? normal? baja? Esta por lo general 1.3 pero cuando se generan reportes entonces se eleva y pasa lo del mysql_query. Muchas gracias

¿de cuanta memoria dispone el servidor? Este es el mensaje de top de mi server

//////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////

MySQL was started within the last 24 hours - recommendations may be inaccurate
    Reduce your overall MySQL memory footprint for system stability
    Enable the slow query log to troubleshoot bad queries
    We will suggest raising the 'join_buffer_size' until JOINs not using indexes are found.
             See https://dev.mysql.com/doc/internals/en/join-buffer-size.html
             (specially the conclusions at the bottom of the page).
    Increase table_open_cache gradually to avoid file descriptor limits
    Read this before increasing table_open_cache over 64: https://bit.ly/2Fulv7r
    Read this before increasing for MariaDB https://mariadb.com/kb/en/library/optimizing-table_open_cache/
    This is MyISAM only table_cache scalability problem, InnoDB not affected.
    See more details here: https://bugs.mysql.com/bug.php?id=49177
    This bug already fixed in MySQL 5.7.9 and newer MySQL versions.
    Beware that open_files_limit (1024) variable 
    should be greater than table_open_cache (64)
Variables to adjust:
  *** MySQL's maximum memory usage is dangerously high ***
  *** Add RAM before increasing MySQL buffer variables ***
    query_cache_size (=0)
    query_cache_type (=0)
    join_buffer_size (> 100.0M, or always use indexes with JOINs)
    table_open_cache (> 64)
    table_definition_cache(400) > 563 or -1 (autosizing if supported)

existen unas variables que no comprendo bien

mysql> show status like "%conn%";
+--------------------------+-------+
| Variable_name            | Value |
+--------------------------+-------+
| Aborted_connects         | 0     |
| Connections              | 50031 |
| Max_used_connections     | 123   |
| Ssl_client_connects      | 0     |
| Ssl_connect_renegotiates | 0     |
| Ssl_finished_connects    | 0     |
| Threads_connected        | 43    |
+--------------------------+-------+
las de connections porque yo tengo registrado 180 como maximo y e ese lugar me aparece esa cantidad.
Muchas gracias 
13
  • 2
    Hola! Bienvenidx. ¿Cuál mensaje? Qué tienes instalado en el apache? Cómo lo están consultando? Como la idea no es adivinar, por favor ve a editar y añade toooda la info que consideres relevante (logs de apache, mensajes de error completos, archivos de configuración, etc) para poder responder en lugar de adivinar.
    – Alfabravo
    Commented el 1 mar. 2022 a las 22:16
  • 2
    Recomiendo que hagas el recorrido para entender el sitio y de paso ganar tu primera medalla. También estaría bien que revisaras Cómo preguntar para que recibas respuesta cuanto antes. Recuerda que puedes editar tu pregunta cuantas veces sea necesario (incluso si termina cerrada) y añadir la info relevante (en los comentarios no se ve bien el código y abajo sólo van nuestros intentos de respuesta).
    – Alfabravo
    Commented el 1 mar. 2022 a las 22:16
  • Eso tiene que estudiarse a fondo, los motivos pueden ser varios. Necesitamos más contexto, a saber: 1) Version de apache 2) Version PHP y cómo esta ejecutándose (PHPFPM, CGI, etc) 3) Configuracion actual de maxclients, maxrequest, keepalive, etc.. 4) Visitas a la web concurrentes, saber si tienes picos o son buscadores que indexan a saco... no se, hay muchas cosas por mirar para darte una respuesta certera
    – masterguru
    Commented el 1 mar. 2022 a las 22:17
  • Version de apache Server version: Apache/2.4.7 (Ubuntu) Server built: Apr 3 2019 18:04:25. version de mysql Your MySQL connection id is 282696 Server version: 5.5.62-0ubuntu0.14.04.1-log (Ubuntu). EL PHP es la version PHP 5.5.9-1ubuntu4.29 (cli) (built: Apr 22 2019 18:33:52) Copyright (c) 1997-2014 The PHP Group Zend Engine v2.5.0, Copyright (c) 1998-2014 Zend Technologies with Zend OPcache v7.0.3, Copyright (c) 1999-2014, by Zend Technologies .
    – Jteduardo
    Commented el 2 mar. 2022 a las 14:33
  • 1
    Pulsa editar en el pie de la pregunta y agrégalo alli mejor, gracias
    – masterguru
    Commented el 2 mar. 2022 a las 14:41

1 respuesta 1

0

Tal como se indica en la documentación de apache (traducido):

Problemas de hardware y sistema operativo

El mayor problema de hardware que afecta el rendimiento del servidor web es la memoria RAM. Un servidor web nunca debería tener que intercambiar (swap), ya que el intercambio aumenta la latencia de cada solicitud más allá de un punto que los usuarios consideran "lo suficientemente rápido". Esto hace que los usuarios detengan y vuelvan a cargar, aumentando aún más la carga. Puede, y debe, controlar la configuración de MaxRequestWorkers para que su servidor no genere tantos hijos que comience a intercambiar. El procedimiento para hacer esto es simple: determine el tamaño de su proceso promedio de Apache mirando su lista de procesos a través de una herramienta como top y divida esto en su memoria total disponible, dejando espacio para otros procesos.

Más allá de eso, el resto es mundano: obtenga una CPU lo suficientemente rápida, una tarjeta de red lo suficientemente rápida y discos lo suficientemente rápidos, donde "lo suficientemente rápido" es algo que debe determinarse mediante la experimentación.

Es decir, debemos primero calcular la media de la memoria virtual usada por cada hijo de apache, por ejemplo de este modo (segun el servidor cambiar httpd por apache o apache2 para obtener resultados):

$ ps -ylC httpd --sort:rss
S   UID     PID    PPID  C PRI  NI   RSS    SZ WCHAN  TTY          TIME CMD
S 65534 2298133 2030562  0  80   0 139400 104691 do_sys ?      00:00:00 httpd
S 65534 2280392 2030562  0  80   0 139608 104698 do_sys ?      00:00:00 httpd
S 65534 2280394 2030562  0  80   0 139608 104701 do_sys ?      00:00:00 httpd
S 65534 2280393 2030562  0  80   0 139644 104721 -    ?        00:00:00 httpd
S 65534 2280395 2030562  0  80   0 142508 107451 do_sys ?      00:00:00 httpd
S 65534 2280396 2030562  0  80   0 142508 107440 do_sys ?      00:00:00 httpd
S     0 2030562       1  0  80   0 143672 104379 -    ?        00:00:12 httpd

La columna a mirar es la SZ (memoria virtual usada), y la media rondaria los 104MB en este ejemplo.

Ahora tocaria saber de cuanta memoria dispone el servidor. Usando free mismo seria así:

# free -m
              total        used        free      shared  buff/cache   available
Mem:           7578        3513         939         396        3125        3371
Swap:             0           0           0

En mi ejemplo aparece un Swap de 0 porque es un VPS, pero eso ahora no es relevante.

En total dispongo de unos 7,5GB de memoria segun veo.

Ahora deberiamos aplicar esta fórmula, deducida de la primera explicación de apache:

MaxRequestWorkers: (Memoria_total_en_MB - Memoria_reservada_para_otras_cosas_en_MB) / Media_de_memoria_virtual_utilizada_por_cada_hijo_de_apache_en_MB

Es decir, en este ejemplo seria:

Memoria total en MB: 7,5 GB * 1024MB/GB = 7680MB
Memoria reservada para otras cosas = MySQL 300MB y otros pues digamos 500MB más, en total = 800MB
Media de memoria utilizada por cada hijo de apache = 104MB

Fórmula:
MaxRequestWorkers = (7680 - 800) / 104 = 66,15

que si redondeamos nos queda en un valor de MaxRequestWorkers de 65.

Ojo con la versión de apache, porque según la documentación de apache (traducida):

MaxRequestWorkers se llamaba MaxClients antes de la versión 2.3.13. El antiguo nombre aún se admite.

Y en tu caso concreto veo que pones los dos parámetros con valores distintos:

MaxRequestWorkers               340
MaxClients                      290

y como dices que estas usando la versión 2.4 te recomiendo que elimines la linea del MaxClients.

Otras recomendaciones

Segun como sean tus scripts en PHP y cómo esté de cargada tu base de datos y tu CPU es probable que te encuentres con que muchas conexiones en estado TIME_WAIT. Compruebalo mediante esta instucción, por ejemplo:

# netstat -anp  | grep tcp | grep TIME_WAIT | wc
     63     441    6363

Donde el 63 indica el número de líneas coincidentes, es decir, conexiones con ese estado TIME_WAIT. Revisalas bien por si son de apache o de otra cosa, y si son de apache es problable que sea por un mal cierre de conexión debido a una mala programación de tus scripts.

En este caso dispones de dos opciones:

  1. Depurar los scripts y ver porque se quedan en ese estado
  2. Reducir el valor del keepalive (por ejemplo de 5 a 3) para matar antes esos procesos zombies y así permitir nuevas conexiones y que se cierren las actuales.

También puedes descubrir los scripts zombies mirando los procesos activos de apache y ver en que páginas estan colgados o esperando demasiado, y de ahí deducir los scripts que deben depurarse y mejorar. Para ello usa el mod_status de apache y seguramente el lynx, que te permitirá ejecutar el apachectl status desde terminal, el cual te mostrará información detallada de las peticiones actuales y sus estados.

Como decia en los comentarios de tu pregunta, cada caso es distinto, y aquí tan solo aporto la información básica por donde debes empezar a mirar. Es probable que si tienes muchas conexiones TIME_WAIT sean por esperas de MySQL o no, pero eso ya es cosa tuya averiguarlo y deducir si tienes que mejorar o no esas respuestas, ya sea con el tuner como ayuda o bien revisando los tiempos de consulta de tus consultas o bien mirando el error_log de tu mysql.

Ya nos diras si has conseguido arreglarlo y como en tu caso.

3
  • Voy a imprimir todo y o voy a poner en practiva. Gracias Masterguru. Realmente gracias por su aporte. Bendiciones
    – Jteduardo
    Commented el 4 mar. 2022 a las 17:16
  • se hicieron varios ajustes y aun asi se cuelga vi mysql unner y me da ese mensaje
    – Jteduardo
    Commented el 17 mar. 2022 a las 15:46
  • Bueno, quizás necesitas que te lo mire un profesional pues. Mi respuesta es genérica y sin saber en cada momento que le está pasando a tu servidor. Lo que has puesto ahora en la pregunta sobre MySQL: connections son las conexiones a MySQL que has tenido desde que se ha arrancado el servidor, no las concurrentes, que son la de abajo (123 sobre 180 que dices que permites). Me preocupa más esto: MySQL's maximum memory usage is dangerously high porque quiere decir que tienes unos valores demasiado altos configurados y eso si que puede hacer petar el servidor entero por falta de RAM.
    – masterguru
    Commented el 17 mar. 2022 a las 17:33

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.