0

Estoy trabajando con un software de gestión de documentos (Solidworks PDM) y para un desarrollo propietario de la empresa donde trabajo, ya que usamos este software, he tenido que empezar a chusmear su base de datos..

Por el momento iba todo bien, hasta que me topé con un problema que no logro decifrar, posiblemente, por mi falta de conocimiento en lo que respecta a SQL.

Les cuento..

He creado una vista con el nombre GetAllAccesorios, el asunto, es que al realizar un simple select:

SELECT * FROM GetAllAccesorios 

devuelve 125 filas, y la query tarda menos de 1 segundo en ejecutarse.

Ahora, si intento añadirle una cláusula where..

SELECT * FROM GetAllaccesorios WHERE Filename LIKE 'blahblah%'

La query (que debería devolver entre 1 y 3 filas aproximadamente) tarda al menos 5 minutos en ejecutarse!

Para agregar un poco de contexto a la pregunta, agrego el código de la vista, y las tablas en cuestión

Documents (94745 rows)

COLUMN_NAME DATA_TYPE
DocumentID  int
Filename    nvarchar
Deleted     bit

Projects (13880 rows)

COLUMN_NAME DATA_TYPE
ProjectID   int 
Name    nvarchar
Path    nvarchar
Deleted bit NULL

DocumentsInProjects (48189 rows)

COLUMN_NAME DATA_TYPE
ProjectID   int
DocumentID  int
Deleted int

VariableValue (1394547 rows)

COLUMN_NAME DATA_TYPE
VariableID  int
DocumentID  int
ProjectID   int
RevisionNo  int
ConfigurationID int
ValueText   nvarchar
ValueInt    int
ValueFloat  float
ValueDate   datetime
ValueCache  nvarchar
IsLongText  bit

Por último, la vista que he creado, es la siguiente:

SELECT 
                         [Documents].[DocumentID], Projects.ProjectID, [Documents].[Filename], [Projects].[Path] + '\' + [Documents].[Filename] AS 'FullPath'/*VARIABLES*/ , [351] AS 'A-TITULO1', [353] AS 'A-IDENTIFICACION_DEL_FABRICANTE', 
                         [178] AS 'A-MARCA', [141] AS 'A-MODELO', [238] AS 'A-TIPODOCUMENTO', [176] AS 'A-DESCRIPCION'/* Quién Dibujó*/ , [146] AS 'A-QUIENDIBUJO', [150] AS 'A-FECHADIBUJO'/* Quién Revisó*/ , [147] AS 'A-QUIENREVISO', 
                         [151] AS 'A-FECHAREVISO'/* Quién Aprobó*/ , [148] AS 'A-QUIENAPROBO', [152] AS 'A-FECHAAPROBO', [51] AS 'A-REVISION', [265] AS 'A-ESTADOFLUJO'
/*FIN VARIABLES*/ FROM (SELECT        t1.DocumentId, t1.VariableID, MAX(t1.ValueText) AS 'ValueText'
                                                         FROM            VariableValue t1 INNER JOIN
                                                                                      (SELECT DISTINCT DocumentId, VariableID, MAX(RevisionNo) AS RevisionNo
                                                                                        FROM            VariableValue
                                                                                        GROUP BY ProjectID, DocumentId, VariableID) t2 ON t1.DocumentId = t2.DocumentId AND t1.VariableID = t2.VariableID AND t1.RevisionNo = t2.RevisionNo
                                                         GROUP BY t1.ProjectID, t1.DocumentId, t1.VariableID) AS Temp PIVOT (MAX([ValueText]) FOR [VariableID] IN ([141], [146], [351], [353], [178], [238], [176], [150], [147], [151], [148], [152], [51], [265])) AS pt INNER JOIN
                         ((dbo.Projects INNER JOIN
                         dbo.DocumentsInProjects ON Projects.ProjectID = DocumentsInProjects.ProjectID) INNER JOIN
                         Documents ON DocumentsInProjects.DocumentID = Documents.DocumentID) ON Documents.DocumentId = pt.DocumentId
WHERE        [Path] LIKE '\DOPCO\DEAC\%\' AND [Path] <> '\DOPCO\DEAC\DOCUMENTACIÓN CLIENTE\' AND Documents.Deleted = 0

Cabe aclarar, que en las tablas e intentado quitar algunas columnas no relevantes en la query para mayor legibilidad.

¿Por qué se produce esto? El hecho de agregar una cláusula WHERE, no debería hacer más rápida la Query?

Estoy trabajando con C#, por lo que puedo realizar usar el SELECT * y luego filtrar con linq, pero no sería mi idea.

Muchas gracias y perdón por la pregunta larga!

5
  • 2
    La variable "[Documents].[Filename]" está indexada en la bbdd? Lo digo porque meter un LIKE en cualquer where siempre destroza rendimientos
    – rencinas
    Commented el 11 nov. 2019 a las 14:46
  • No está indexada, de todos modos, lo que respecta al LIKE, intenté usando el operador = en su lugar, y el resultado es el mismo, toma casi 5 minutos la Query Commented el 11 nov. 2019 a las 14:50
  • La indexación es la solución, pero en ocasiones ocurren cosas extrañas y funciona el eliminar y volver a crear la vista. Cosas de la caché. Commented el 11 nov. 2019 a las 14:58
  • @RogerTorné el asunto es, que lamentablemente al ser un software de un tercero, me es imposible modificar nada, (al menos en las tablas) sólo puedo llegar a crearme una vista, Lo que respecta al tema de caché, estoy intentando agregar la cláusula where a la consulta completa (a modo de prueba) y sucede exactamente lo mismo :S Commented el 11 nov. 2019 a las 15:03
  • 2
    Algunos comentarios: No arranques por la vista, hazlo por la consulta lo más "pelada" posible, un select sin columnas y solo el where problemático. ¿funciona mal/bien? revisa el "query plan", agrégalo a tu pregunta. por otro lado, si no tienes forma de aplicar ningún cambio a la base de datos, tampoco tendrás posibilidades de arreglar algo desde la BD. Eventualmente, usa la consulta sin filtro para insertar en una tabla temporal propia y aplica el filtro sobre ella ¿La performance es la misma/mejor? Commented el 11 nov. 2019 a las 15:18

4 respuestas 4

1

Gracias al comentario de Patricio Moracho, llegué a una solución, no se si es la óptima, pero al menos cumple su cometido y tarda menos de un segundo en ejecutarse.

La solución fue usar una tabla temporal y realizar el filtrado directamente sobre ella.

La vista no cambió en absoluto, sólo que ahora, la consulto de la siguiente manera:

SELECT * 
INTO #GetAllAccesoriosTemp
FROM GetAllAccesorios

SELECT * FROM #GetAllAccesoriosTemp WHERE Filename LIKE 'blahblah%'
8
  • Y cuanto tarda ahora? Commented el 11 nov. 2019 a las 16:07
  • @RafaelAcosta menos de un segundo! Commented el 11 nov. 2019 a las 16:46
  • 1
    Y has sacado alguna conclusión?. La pregunta es interesante, pero si realizas una operación de consulta directamente sobre la base de datos y tarda 5 minutos, y si realizas la misma sobre una tabla temporal (sobre la memoria del Sql Server) tarda 1 segundo, algo me dice que no depende de la programación de los Queryes. Commented el 11 nov. 2019 a las 17:01
  • 1
    Cuidado que vas a tener que limpiar las tablas temporales cada cierto tiempo, el SQL Server las almacena, y cuando alcanza al límite, las fallas se sienten.
    – fredyfx
    Commented el 12 nov. 2019 a las 1:40
  • @RafaelAcosta aún no logro descifrar el porque, intentando con otros de los campos de la tabla Documents, el where funciona normalmente, el problema es específicamente el campo Filename al parecer Commented el 12 nov. 2019 a las 3:05
1

Es probable que sea un problema con tu vista que tiene que hacer operaciones pesadas antes de poder aplicar el filtro. Te dejo un par de opciones que podrían ayudar al rendimiento. Ten en cuenta que esto es un problema del diseño de las tablas y probablemente sea mejor evitar el modelo EAV (Entidad-Atributo-Valor). O al menos crear algo que replique los datos actuales en una tabla normalizada.

Opcion 1:

WITH cteVariableValue AS(
    SELECT DocumentId, 
           VariableId,
           ValueText,
           ROW_NUMBER() OVER( PARTITION BY DocumentId, VariableId ORDER BY RevisionNo DESC) rn
    FROM VariableValue
),
ctePivote AS(
    SELECT DocumentId,
       --Variables
       MAX( CASE WHEN VariableID = 351 THEN ValueText END) AS 'A-TITULO1', 
       MAX( CASE WHEN VariableID = 353 THEN ValueText END) AS 'A-IDENTIFICACION_DEL_FABRICANTE', 
       MAX( CASE WHEN VariableID = 178 THEN ValueText END) AS 'A-MARCA', 
       MAX( CASE WHEN VariableID = 141 THEN ValueText END) AS 'A-MODELO', 
       MAX( CASE WHEN VariableID = 238 THEN ValueText END) AS 'A-TIPODOCUMENTO', 
       MAX( CASE WHEN VariableID = 176 THEN ValueText END) AS 'A-DESCRIPCION' ,
        --Quién Dibujó
       MAX( CASE WHEN VariableID = 146 THEN ValueText END) AS 'A-QUIENDIBUJO', 
       MAX( CASE WHEN VariableID = 150 THEN ValueText END) AS 'A-FECHADIBUJO' ,
        --Quién Revisó
       MAX( CASE WHEN VariableID = 147 THEN ValueText END) AS 'A-QUIENREVISO', 
       MAX( CASE WHEN VariableID = 151 THEN ValueText END) AS 'A-FECHAREVISO' ,
       --Quién Aprobó
       MAX( CASE WHEN VariableID = 148 THEN ValueText END) AS 'A-QUIENAPROBO', 
       MAX( CASE WHEN VariableID = 152 THEN ValueText END) AS 'A-FECHAAPROBO', 
       MAX( CASE WHEN VariableID = 51  THEN ValueText END) AS 'A-REVISION', 
       MAX( CASE WHEN VariableID = 265 THEN ValueText END) AS 'A-ESTADOFLUJO'
       --Fin de Variables
    FROM cteVariableValue
    WHERE rn = 1
)
SELECT d.DocumentID, 
       p.ProjectID, 
       d.Filename, 
       p.[Path] + '\' + d.Filename AS 'FullPath' ,
       [A-TITULO1], 
       [A-IDENTIFICACION_DEL_FABRICANTE], 
       [A-MARCA], 
       [A-MODELO], 
       [A-TIPODOCUMENTO], 
       [A-DESCRIPCION] ,
       [A-QUIENDIBUJO], 
       [A-FECHADIBUJO] ,
       [A-QUIENREVISO], 
       [A-FECHAREVISO] ,
       [A-QUIENAPROBO], 
       [A-FECHAAPROBO], 
       [A-REVISION], 
       [A-ESTADOFLUJO]
       --Fin de Variables
FROM       dbo.Projects            AS p   
INNER JOIN dbo.DocumentsInProjects AS dp ON p.ProjectID   = dp.ProjectID
INNER JOIN Documents               AS d  ON dp.DocumentID = d.DocumentID
INNER JOIN ctePivote               AS vv ON d.DocumentId  = vv.DocumentId
WHERE  p.[Path] LIKE '\DOPCO\DEAC\%\'
AND p.[Path] <> '\DOPCO\DEAC\DOCUMENTACIÓN CLIENTE\'
AND d.Deleted = 0;

Opcion 2:

WITH cteVariableValue AS(
    SELECT *,
           ROW_NUMBER() OVER( PARTITION BY DocumentId, VariableId ORDER BY RevisionNo DESC) rn
    FROM VariableValue
    )
SELECT d.DocumentID, 
       p.ProjectID, 
       d.Filename, 
       p.[Path] + '\' + d.Filename AS 'FullPath' ,
       pv.[A-TITULO1], 
       pv.[A-IDENTIFICACION_DEL_FABRICANTE], 
       pv.[A-MARCA], 
       pv.[A-MODELO], 
       pv.[A-TIPODOCUMENTO], 
       pv.[A-DESCRIPCION] ,
       pv.[A-QUIENDIBUJO], 
       pv.[A-FECHADIBUJO] ,
       pv.[A-QUIENREVISO], 
       pv.[A-FECHAREVISO] ,
       pv.[A-QUIENAPROBO], 
       pv.[A-FECHAAPROBO], 
       pv.[A-REVISION], 
       pv.[A-ESTADOFLUJO]
FROM       dbo.Projects            AS p   
INNER JOIN dbo.DocumentsInProjects AS dp ON p.ProjectID   = dp.ProjectID
INNER JOIN Documents               AS d  ON dp.DocumentID = d.DocumentID
CROSS APPLY (SELECT DocumentId,
                   --Variables
                   MAX( CASE WHEN VariableID = 351 THEN ValueText END) AS 'A-TITULO1', 
                   MAX( CASE WHEN VariableID = 353 THEN ValueText END) AS 'A-IDENTIFICACION_DEL_FABRICANTE', 
                   MAX( CASE WHEN VariableID = 178 THEN ValueText END) AS 'A-MARCA', 
                   MAX( CASE WHEN VariableID = 141 THEN ValueText END) AS 'A-MODELO', 
                   MAX( CASE WHEN VariableID = 238 THEN ValueText END) AS 'A-TIPODOCUMENTO', 
                   MAX( CASE WHEN VariableID = 176 THEN ValueText END) AS 'A-DESCRIPCION' ,
                    --Quién Dibujó
                   MAX( CASE WHEN VariableID = 146 THEN ValueText END) AS 'A-QUIENDIBUJO', 
                   MAX( CASE WHEN VariableID = 150 THEN ValueText END) AS 'A-FECHADIBUJO' ,
                    --Quién Revisó
                   MAX( CASE WHEN VariableID = 147 THEN ValueText END) AS 'A-QUIENREVISO', 
                   MAX( CASE WHEN VariableID = 151 THEN ValueText END) AS 'A-FECHAREVISO' ,
                   --Quién Aprobó
                   MAX( CASE WHEN VariableID = 148 THEN ValueText END) AS 'A-QUIENAPROBO', 
                   MAX( CASE WHEN VariableID = 152 THEN ValueText END) AS 'A-FECHAAPROBO', 
                   MAX( CASE WHEN VariableID = 51  THEN ValueText END) AS 'A-REVISION', 
                   MAX( CASE WHEN VariableID = 265 THEN ValueText END) AS 'A-ESTADOFLUJO'
                   --Fin de Variables
            FROM (SELECT DocumentId, 
                        VariableId,
                        ValueText,
                       ROW_NUMBER() OVER( PARTITION BY DocumentId, VariableId ORDER BY RevisionNo DESC) rn
                FROM VariableValue vv
                WHERE d.DocumentId  = vv.DocumentId) i
            WHERE rn = 1
            )     AS pv 
WHERE  p.[Path] LIKE '\DOPCO\DEAC\%\'
AND p.[Path] <> '\DOPCO\DEAC\DOCUMENTACIÓN CLIENTE\'
AND d.Deleted = 0;
0

como te comentan, el uso de 'LIKE' suele requerir gran cantidad de procesamiento, ya que tienes el comienzo de la cadena, puedo recomendarte extraer los caracteres que necesitas y compararlos directamente

SELECT * FROM GetAllaccesorios WHERE LEFT(Filename , 8)='blahblah'

También podrías usar SUBSTRING tal que así, por si tu versión no admite LEFT():

SELECT * FROM GetAllaccesorios WHERE SUBSTRING(Filename , 1, 8)='blahblah'

Espero que esto te ayude.

3
  • Hola Rubén, gracias por tu tiempo, sin embargo, te comento, al realizar la compraración con un =, el problema sucede de la misma manera (WHERE Filename = 'blahblah.pdf'), por lo que lamentablemente, no es la solución al problema :( Commented el 11 nov. 2019 a las 15:07
  • @JuanSalvadorPortugal, revisa la documentación sobre vistas indizadas, puede que en esta ocasión te sea de utilidad. Commented el 11 nov. 2019 a las 15:24
  • Utilizar funciones en las columnas incluidas en el WHERE es una pésima idea. Evita cualquier posibilidad de utilizar índices y no permite una correcta estimación. Commented el 11 nov. 2019 a las 20:41
0

Creo que el problema de rendimiento que tienes es debido al uso de subconsultas en subconsultas, deberías hacer un análisis en el que puedas obtener el mismo resultado evitando las subconsultas... fuera de decirte eso es difícil poder sugerirte una mejora por lo que no hay un ambiente en el que se pueda ver el modelo de datos y probar realmente la mejora.

Te recomiendo leer esto https://docs.microsoft.com/es-es/sql/relational-databases/performance/subqueries?view=sql-server-ver15

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.