3

Tengo un problema un tanto avanzado, y me he topado con un muro y no puedo avanzar...

Teniendo un sistema de ordenamiento de pasos para un embudo (funnel), y la data de los cambios de estado en una base de datos a manera de log, quiero ordenar los eventos de tal forma que si un paso vuelve a aparecer, se use la vez más reciente de su aparición como la única (es decir, olvidar todas las anteriores). Adicionalmente, estos pasos tienen una contraparte "en la vida real", por lo que tienen una especie de jerarquía, en la que el paso 1 siempre tiene que ser antes del paso 2, 3, etc. Es decir, si este es el journey del cliente:

*1* -> 2 -> 3 -> 4 -> *2* -> 4 -> 5 -> *3* -> *5*

Entonces debería aparecer, finalmente, como (marqué los que pasan abajo con asteriscos)

1 -> 2 -> 3 -> 5

Llevándolo a la problemática real, la primera parte del problema ya la pude hacer con un ROW_NUMBER en SQL (consideraría solo el new_stage, no importa que no aparezca el primer paso, lo puedo añadir al final):

SELECT  deal_id, 
        PSL.ORGANIZATION_NAME, 
        TRIM(S_OLD.Name_agg) OLD_STAGE, 
        TRIM(S_NEW.Name_agg) NEW_STAGE, 
        PSL.LOG_TIME,
        row_number() OVER (PARTITION BY DEAL_ID, s_old.Name_agg ORDER BY psl.log_time DESC) nro_old_stage,
        row_number() OVER (PARTITION BY DEAL_ID, s_new.Name_agg ORDER BY psl.log_time DESC) nro_new_stage
from ods.pipedrive_stage_log psl
JOIN ods.TBL_PIPEDRIVE_SNAPSHOT snap
    ON psl.DEAL_ID = snap.id
JOIN ods.pipedrive_stage s_old
    ON psl.STAGE_OLD_ID = s_old.ID
JOIN ods.pipedrive_stage s_new
    ON psl.STAGE_NEW_ID = s_new.ID 
order by deal_id, log_time desc;

Esto me da la siguiente tabla (ejemplo):

deal_id organization_name old_stage new_stage log_time         nro_old_stage nro_new_stage 
1       Cliente1          Paso1     Paso7     06/06/2020 11:44 1             1             
1       Cliente1          Paso6     Paso1     17/04/2020 13:20 1             1             
1       Cliente1          Paso5     Paso6     21/02/2020 17:28 1             1             
1       Cliente1          Paso6     Paso5     21/01/2020 18:24 2             1             
1       Cliente1          Paso5     Paso6     07/01/2020 13:24 2             2             
1       Cliente1          Paso4     Paso5     30/12/2019 14:58 1             2             
1       Cliente1          Paso5     Paso4     10/12/2019 17:34 3             1             
1       Cliente1          Paso3     Paso5     10/12/2019 17:34 1             3             
1       Cliente1          Paso4     Paso3     02/10/2019 19:00 2             1             
1       Cliente1          Paso3     Paso4     02/10/2019 18:59 2             2             
1       Cliente1          Paso2     Paso3     11/09/2019 17:42 1             2             
1       Cliente1          Paso3     Paso2     11/09/2019 17:42 3             1             
1       Cliente1          Paso2     Paso3     10/07/2019 16:49 2             3             
1       Cliente1          Paso4     Paso2     04/07/2019 07:16 3             2             
1       Cliente1          Paso2     Paso4     04/07/2019 01:21 3             3             
1       Cliente1          Paso3     Paso2     03/07/2019 20:55 4             3             
2       Cliente2          Paso3     Paso1     17/04/2020 13:20 1             1             
2       Cliente2          Paso2     Paso3     02/10/2019 08:04 1             1             
2       Cliente2          Paso3     Paso2     04/07/2019 07:15 2             1             
2       Cliente2          Paso2     Paso3     04/07/2019 06:53 2             2             
2       Cliente2          Paso0     Paso2     28/06/2019 11:25 1             2             
3       Cliente3          Paso4     Paso1     17/04/2020 13:20 1             1             
3       Cliente3          Paso3     Paso4     25/09/2019 18:07 1             1             
3       Cliente3          Paso2     Paso3     25/09/2019 18:07 1             1             
3       Cliente3          Paso0     Paso2     25/09/2019 18:04 1             1             

Quisiera sacar la siguiente pivot table, siguiendo las reglas anteriormente dichas, con la jerarquía de los pasos (siempre el paso1 antes que el 2, el 2 antes que el 3, etc. sino descartarlos). Por lo que debería quedar algo así:

Cliente  Paso0 Paso1            Paso2            Paso3            Paso4 Paso5 Paso6 Paso7            
Cliente1       17/04/2020 13:20                                                     06/06/2020 11:44 
Cliente2                        04/07/2019 07:15 02/10/2019 08:04                                    
Cliente3       17/04/2020 13:20          

O por lo menos un paso antes, serviría solo tener la estructura o reglas para poder armarla. Puedo usar Python, SQL, Excel... Algo que funcione!!!

1 respuesta 1

2
+500

Creo que vas por buen camino... he simplificado las cosas para que la respuesta sea de un tamaño manejable:

  • He quitado todos los campos que no tienen relevancia
  • Asumo, de tu estructura, que el campo relevante en el log es el status nuevo (STAGE_NEW_ID). Una vez se entiende el proceso, cambiar a STAGE_OLD_ID debiera resultar trivial.
  • He reducido los pasos a un id que tiene su número de orden lógico. En la vida real, es probable que esta información venga de otra tabla o sea otro campo. Integrar esto en la solución final es de vital importancia. Una vez comprendida la lógica, debiera quedar dentro del alcance del lector.
  • He modelado primero, en los datos, el caso que pones de ejemplo y la lógica está validada contra ese ejemplo, ya que no pones la salida esperada con los datos que luego muestras como resultado de tu consulta (a mi manera de ver, los datos que pones como ejemplo de salida no cumplen las reglas que tu mismo has establecido o hay algo erróneo en la explicación).
  • Mi script de ejemplo tiene un primer CTE que simula la tabla de origen y simplemente devuelve la lista de valores, que he tomado de la propia pregunta.

Las partes relevantes son:

  • En el Paso1, de manera similar a como ya vienes haciendo, calculo una columna llamada NumeroNew con row_number() over (partition by psl.deal_id, psl.stage_new order by psl.log_time desc). Esto es con el objetivo de numerar en orden cronológico inverso, la aparición de cada stage en la secuencia. Esto nos permitirá en el siguiente paso, quedarnos solamente con la última aparición de cada uno.

  • En el Paso2, me quedo primero solo con la última aparición de cada stage y realizo, además, el cálculo necesario para determinar si su orden de aparición en la secuencia es lógico, es decir, si tiene sentido, Para ello, lo que hago, es ver la fecha en la que aparece el paso anterior, dentro de la secuencia misma. Si no hay paso anterior, asumo que su aparición es lógica, por ser el primer paso. Si hay un paso anterior y la fecha de aparición es también anterior a la actual, asumo que su aparición tiene lógica. En caso contrario, asumo que no la tiene.

  • Esto me permitiría realizar una consulta donde la secuencia de pasos, o stages completa para cada deal, que vendría a ser algo como:

      select   a.deal_id 
             , a.stage_new
             , a.log_time
          from Paso2 a
         where a.es_orden_logico = 1
         order by a.deal_id, a.stage_new;
    
  • Voy directamente a realizar la consulta pivote, valiéndome de la secuencia de cada paso para ello.

El código completo es:

with
TheLog as (
select *
  from (values ( 1, cast('20200801' as datetime), 0, null, 1)
             , ( 2, '20200802', 0, 1, 2)
             , ( 3, '20200802', 0, 2, 3)
             , ( 4, '20200803', 0, 3, 4)
             , ( 5, '20200804', 0, 4, 2)
             , ( 6, '20200805', 0, 2, 4)
             , ( 7, '20200806', 0, 4, 5)
             , ( 8, '20200807', 0, 5, 3)
             , ( 9, '20200808', 1, 3, 5)
             , (10, '20200606 11:44', 1, 1, 7)
             , (11, '20200417 13:20', 1, 6, 1)
             , (12, '20200221 17:28', 1, 5, 6)
             , (13, '20200121 18:24', 1, 6, 5)
             , (14, '20200107 13:24', 1, 5, 6)
             , (15, '20191230 14:58', 1, 4, 5)
             , (16, '20191210 17:34', 1, 5, 4)
             , (17, '20191210 17:34', 1, 3, 5)
             , (18, '20191002 19:00', 1, 4, 3)
             , (19, '20191002 18:59', 1, 3, 4)
             , (20, '20190911 17:42', 1, 2, 3)
             , (21, '20190911 17:42', 1, 3, 2)
             , (22, '20190710 16:49', 1, 2, 3)
             , (23, '20190704 07:16', 1, 4, 2)
             , (24, '20190704 01:21', 1, 2, 4)
             , (25, '20190703 20:55', 1, 3, 2)
             , (26, '20200417 13:20', 2, 3, 1)
             , (27, '20191002 08:04', 2, 2, 3)
             , (28, '20190704 07:15', 2, 3, 2)
             , (29, '20190704 06:53', 2, 2, 3)
             , (30, '20190628 11:25', 2, 0, 2)
             , (31, '20200417 13:20', 3, 4, 1)
             , (32, '20190925 18:07', 3, 3, 4)
             , (33, '20190925 18:07', 3, 2, 3)
             , (34, '20190925 18:04', 3, 0, 2)
       ) q1 (id, log_time, deal_id, stage_old, stage_new)
)
,
Paso1 as (
select   psl.deal_id
       , psl.stage_old
       , psl.stage_new
       , psl.log_time
       , row_number() over (partition by psl.deal_id, psl.stage_new order by psl.log_time desc) NumeroNew
  from TheLog psl
)
,
Paso2 as (
select   a.deal_id
       , a.stage_new
       , a.log_time
       , case
           when lag(log_time) over (partition by a.deal_id order by a.stage_new) is null then 1
           when lag(log_time) over (partition by a.deal_id order by a.stage_new) < a.log_time then 1 
           else 0
         end es_orden_logico
  from Paso1 a
 where a.NumeroNew = 1
)
select   deal_id
       , [1]
       , [2]
       , [3]
       , [4]
       , [5]
       , [6]
       , [7]
  from (select   a.deal_id 
               , a.stage_new
               , a.log_time
            from Paso2 a
           where a.es_orden_logico = 1
       ) as src
 pivot (max(log_time)
        for stage_new in ([1], [2], [3], [4], [5], [6], [7])
       ) as pivote

Lo que produce el siguiente resultado:

deal_id     1                       2                       3                       4                       5                       6                       7
----------- ----------------------- ----------------------- ----------------------- ----------------------- ----------------------- ----------------------- -----------------------
0           2020-08-01 00:00:00.000 2020-08-04 00:00:00.000 2020-08-07 00:00:00.000 NULL                    2020-08-06 00:00:00.000 NULL                    NULL
1           2020-04-17 13:20:00.000 NULL                    2019-10-02 19:00:00.000 2019-12-10 17:34:00.000 2020-08-08 00:00:00.000 NULL                    2020-06-06 11:44:00.000
2           2020-04-17 13:20:00.000 NULL                    2019-10-02 08:04:00.000 NULL                    NULL                    NULL                    NULL
3           2020-04-17 13:20:00.000 NULL                    2019-09-25 18:07:00.000 NULL                    NULL                    NULL                    NULL

(4 rows affected)


Completion time: 2020-09-09T11:22:52.3766108-06:00

2
  • 1
    Magistral!!! Es un problema difícil de entender (para mi, al menos), por lo que naturalmente me resultó difícil de explicar... Pero por lo que veo, le has dado justo en el clavo en casi todo, y ha sido un enorme avance en resolver esto! El único problema que surge es que cuando tengo un paso 1 como estado final y luego un 2, 3 por ejemplo, que son inválidos por estar luego del 1 y en un timestamp anterior, el lag agarra el paso 3 como correcto (porque está después del 2 lógica y temporalmente). Voy a resolver eso. Por lo demás, te pasaste, la acepto mañana para ponerle recompensa. el 10 sep. 2020 a las 1:15
  • Idealmente, debe haber una manera de ordenar los pasos o estados según el flujo del proceso y numerarlos. Si eso se puede lograr, esa numeración es la que habría que aplicar en la consulta para determinar si la aparición de un estado o paso es lógica o no, y así excluirlo/incluirlo en el resultado.
    – jachguate
    el 10 sep. 2020 a las 19:40

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.