3

Tengo la siguiente situación con una consulta MYSQL. Lo que me sucede es que tengo dos tablas, que la estoy uniendo por LEFT JOIN para traer todos los registros que estén en la primera tabla que es tabla3.

En la segunda tabla pay_amb donde se guarda el id de relación, los tengo repetidos por lo que estoy usando un GROUP BY para agruparlo y así evitar registros duplicados a la hora de mostrar mi consulta.

Los que me está sucediendo, es que cuando coloco el GROUP BY a mi consulta me genera un time out porque se excedió el máximo tiempo de ejecución de mi script que está en 500. He probado quitando el GROUP BY y la consulta se me ejecuta sin problema. Vale destacar que tengo colocado el index en los siguientes campos.

  1. table3.policynumber
  2. pay_amb.p_number
  3. pay_amb.commission
  4. pay_amb.month

A continuación le dejo la consulta para ver si me pueden ayudar. Gracias.

Nota:Estoy manejando entre las dos tablas como un promedio de unos 30000 registros.

SELECT 
  table3.policynumber AS id, 
  CONCAT(table3.`names`,' ',table3.lastname) AS nombre, 
  @var1 := SUBSTRING(pay_amb.month FROM 1 FOR 4) AS anio,
  (
    SELECT 
      SUM(pay_amb.commission) 
    FROM pay_amb 
    WHERE pay_amb.p_number = table3.policynumber 
      AND SUBSTRING(pay_amb.month FROM 1 FOR 4) = @var1 
      AND SUBSTRING(pay_amb.month FROM 6 FOR 2) = '01'
  ) AS ene
FROM table3 
  LEFT JOIN pay_amb 
  ON table3.policynumber = pay_amb.p_number 
GROUP BY pay_amb.p_number
LIMIT 0, 10

Aquí les dejo el resultado del explain introducir la descripción de la imagen aquí

5
  • Podrias mostrarnos el explain plan? esos 500 son ms? si es asi, es muy pero muy poco inclusive para los pocos registros que tenes...
    – gbianchi
    Commented el 10 sept. 2018 a las 15:15
  • No te convendría mejor tener guardados ya los datos en la tabla para evitar realizar funciones de substring?,
    – Ajeno
    Commented el 10 sept. 2018 a las 15:32
  • Parecería como si el WHERE y el JOIN fuesen redundantes en cuanto a la columna p_number. Y quizá haya más cosas a mejorar, pero nada se puede decir sin conocer el modelo de datos completo y lo que hace la aplicación. Otra cosa extraña es que uses SUBSTRING para una columna que, por el nombre, hace pensar que se trata de un mes del año. ¿Esa columna no es DATETIME? ¿Por qué no usas MONTH en caso de que lo sea? ¿O acaso estás almacenando un mes solo sin contar con día y año?
    – A. Cedano
    Commented el 10 sept. 2018 a las 15:44
  • En le campo month estoy guardando la fecha complete Y-m-d y después la separo con un substring utilizando la sección que necesito el tipo de campo es un campo date, a continuación les dejo el resultado del explain que me devolvió la consulta. Commented el 10 sept. 2018 a las 15:55
  • Hola y gracias a todos, ya logre resolver el problema lo que me sucedía es que en una tabla estaba usando el contejamiento de UTF-8 y en la otra LATIN cuando coloque las dos tablas con UTF-8 se me resolvió el problema y la consulta se me ejecuta rápido y sin time out. Les dejo el comentario por si alguien mas le sucede. Commented el 11 sept. 2018 a las 14:52

1 respuesta 1

1

En temas de optimización, muchas veces hay que hacer pruebas en vivo en un entorno similar al de producción y con datos también similares, pues incluso de una instalación a otra las cosas pueden variar por versiones, etc.

Luego, comentar que la agrupación de tu consulta está mal formada, en lo que respecta al SQL estándar. La regla es que las columnas o están en la cláusula group by o tienen una función de agregación, tal como min(), max(), sum() etc.

El único motor que acepta este tipo de consulta mal formada es mySQL si está configurado sin sql_mode=only_full_group_by. No tengo dónde probar la consulta, así que no estoy seguro del resultado que realmente produce, pero asumo que va a ser una fila por póliza y año.

Hechas estas aclaraciones, mi diagnóstico es que tu consulta realiza dos operaciones que tienden a requerir más esfuerzo del necesario:

  • Primero, como bien has identificado ya, es la agrupación. Esta es innecesaria. Entiendo que buscas obtener todos los años para los que hay registros en cada póliza. Por suerte, podemos valernos de una tabla derivada para obtener este resultado y hacer manualmente el join. La consulta que nos devuelve la información que buscamos sería algo como:

      select   distinct p_number
             , substring(month from 1 for 4) anio 
          from pay_amb
    

    La ventaja de esto es que, una vez tenemos un registro por póliza y año, ya no hace falta agrupar en el resultado final.

    Para que esta consulta se ejecute de la manera más rápida, mi sugerencia es tener un índice por p_number y month. Si tu motor lo soporta, sería mejor aún un índice por p_number y los primeros 4 caracteres de month. En MySQL 8 o superior, puedes valerte de un índice funcional.

  • La otra es la subconsulta. En muchas ocasiones, las subconsultas son convertidas por el motor en un join, pero si el optimizador tiene dificultad realizando esta operación, puede terminar lanzando la sub-consulta por cada registro que procesa en la consulta. Esto tiene un efecto más nocivo aún si lo sumamos con la producción de múltiples registros por póliza y año, para solo terminar agrupando y descartándolos. Por suerte, podemos también usar una tabla derivada para tener todos los datos en una sola pasada y hacer nosotros el join con este resultado intermedio.

    La consulta que nos devuelve la información que buscamos, que es un registro por póliza y año, con la sumatoria de las comisiones de enero, sería algo como:

      select   p_number
             , substring(month from 1 for 4) anio
             , sum(commission) ene
        from pay_amb
       where substring(month from 6 for 2) = '01'
       group by p_number, substring(month from 1 for 4)
    

    Como se puede ver, en esta si que es necesario agrupar. Hacerlo de esta manera, como ya he dicho antes, tiene la ventaja que, una vez tenemos el resultado, el join entre este y la tabla3 resulta muy natural.

    En motores que no soportan expresiones en los índices, no necesitamos ninguno adicional al del paso anterior, pero si lo soporta, mi sugerencia es tener un índice por p_number, la parte de anio de month y la parte del mes de month (por separado).

Finalmente, con estas piezas, podemos armar la consulta completa, haciendo left join de la tabla3 con cada una de las tablas derivadas:

select   table3.policynumber as id
       , concat(table3.names, ' ', table3.lastname) AS nombre
       , payAnio.anio
       , payEne.ene
  from table3 
       left join (select   distinct p_number
                         , substring(month from 1 for 4) anio 
                    from pay_amb
                 ) payAnio
              on payAnio.p_number = table3.policynumber
       left join (select   p_number
                         , substring(month from 1 for 4) anio
                         , sum(commission) ene
                    from pay_amb
                   where substring(month from 6 for 2) = '01'
                   group by p_number, substring(month from 1 for 4)
                 ) payEne
              on payEne.p_number = payAnio.p_number
             and payEne.anio = payAnio.anio

fiddle

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.