1

Estoy comenzando a programar con Python y se me ha presentado un caso real. Lo explicaré con un ejemplo:

data = pd.DataFrame({'Doc': ['1234', '2345', '3456', '1234', '1234', '5678', '6789', '2345'],
                     'Monto': [20, 30, 45, 21, 20, 30, 6, 30],
                     'Tipo': ['I', 'E', 'E', 'I', 'E', 'E', 'I', 'I'],
                     'Sup': ['Juan', 'Pedro', 'Juan', 'Juan', 'Carolina', 'Juan', 'Carolina', 'Carolina'],
                     'Obs':' '})

data

Que debe dar algo así:

    Doc   Monto Tipo    Sup     Obs
0   1234    20   I    Juan  
1   2345    30   E    Pedro 
2   3456    45   E    Juan  
3   1234    21   I    Juan  
4   1234    20   E    Carolina  
5   5678    30   E    Juan  
6   6789    6    I    Carolina  
7   2345    30   I    Carolina  

La idea es identificar todas las filas que contengan el mismo valor en las columnas 'Doc' y 'Monto', pero diferente valor en la columna 'Tipo'. Es decir, identificar los montos que tengan el mismo número de 'Doc' pero que uno sea de Ingreso (I) y el otro de Egreso (E).

El resultado debería ser algo parecido a esto:

    Doc   Monto Tipo    Sup     Obs
0   1234    20   I    Juan      Ok
1   2345    30   E    Pedro     Ok
2   3456    45   E    Juan  
3   1234    21   I    Juan  
4   1234    20   E    Carolina  Ok
5   5678    30   E    Juan  
6   6789    6    I    Carolina  
7   2345    30   I    Carolina  Ok

Donde se observa que data[0] hace match con data[4] y data[1] hace match con data[7].

He podido encontrar una solución (anidando for's e if's) que funciona muy bien con dataframes pequeños de prueba, pero cuando la aplico al dataframe original, de 50k registros, es terriblemente ineficiente.

for i in range(len(data)):
  doc = data['Doc'][i]
  mon = data['Monto'][i]
  tip = data['Tipo'][i]

  if  data['Obs'][i] == ' ':
    for j in range(len(data)):
      if i != j:
        if (data['Obs'][j] == ' '):        
          if (data['Doc'][j] == doc) and (data['Monto'][j] == mon):
            if (data['Tipo'][j] != tip):
              data['Obs'][i] = 'Ok'
              data['Obs'][j] = 'Ok'
3
  • Buen día, bienvenido(a) a Stack Overflow en español, te recomiendo hacer el recorrido de bienvenida y leer la sección Cómo preguntar. ¿Qué has intentado hacer hasta el momento? Parte importante de la cultura del sitio es que los usuarios publiquen sus preguntas junto con lo que han intentado, de esa forma se demuestra que has hecho un esfuerzo por resolver tu pregunta/problema, de lo contrario probablemente la pregunta termine cerrada y/o votada negativamente. Lectura recomendada: ejemplo mínimo, completo y verificable. Commented el 4 jun. a las 17:02
  • Hola, ¿Existe la posibilidad de tener más de dos registros con el mismo Doc y Monto? Si es así, ¿qué debería ocurrir con [1234, 20, I], [1234, 20, I], [1234, 20, E] o con [1234, 20, E], [1234, 20, I], [1234, 20, E] o con [1234, 20, I], [1234, 20, I], [1234, 20, E], [1234, 20, E]?
    – FJSevilla
    Commented el 4 jun. a las 19:13
  • Hola @FJSevilla. Lo normal y natural es que existan dos registros idénticos en Ingreso y Egreso. Todo lo adicional, ya sea que existan cantidades sin contraparte o cantidades iguales con el mismo Doc pero sin contraparte, deben revisarse manualmente. Por los dejaba en blanco, pero también se les podría colocar una etiqueta de 'Revisar' o algo por el estilo. Muchas gracias de antemano.
    – vanS
    Commented el 4 jun. a las 20:58

1 respuesta 1

0

Tomando en cuenta que solo hay dos posibles valores para la columna Tipo y asumiendo que como máximo hay dos filas para cada par de Doc y Monto, lo que yo haría es:

  • Agrupar el data frame por las columnas Doc y Monto, una vez para obtener el mínimo de la columna Tipo y otra vez para obtener el máximo de la misma.
  • Hacer un join de estos dos dataframes agrupados para tener, en un solo objeto, las columnas de mínimo y máximo correspondientes a cada valor de Doc y Monto y poder compararlas fácilmente.
  • Filtrar, para quedarme solo con aquellas filas en donde el mínimo y el máximo de la columna Tipo son distintos, que son las filas 'Ok'
  • Finalmente, recorrer este último dataframe filtrado para ir buscando las filas correspondientes en el data frame original y poner el valor correspondiente. Es probable que sea más optimo recorrer el data frame original y buscar en el data frame filtrado, pero hacer esa comparación y la programación queda como ejercicio para el AP.

En código, he realizado la siguiente implementación de lo descrito:

import pandas as pd

data = pd.DataFrame({'Doc': ['1234', '2345', '3456', '1234', '1234', '5678', '6789', '2345'],
                     'Monto': [20, 30, 45, 21, 20, 30, 6, 30],
                     'Tipo': ['I', 'E', 'E', 'I', 'E', 'E', 'I', 'I'],
                     'Sup': ['Juan', 'Pedro', 'Juan', 'Juan', 'Carolina', 'Juan', 'Carolina', 'Carolina'],
                     'Obs':' '})

tdata = data.drop(columns=['Sup', 'Obs'])
gmin = tdata.groupby(['Doc', 'Monto']).min()
gmax = tdata.groupby(['Doc', 'Monto']).max()
gcmp = gmin.join(gmax, ['Doc', 'Monto'], 'inner', 'min', 'max')
gbuenos = gcmp[gcmp.Tipomin != gcmp.Tipomax]
for indice, fila in gbuenos.iterrows():
    doc, monto = indice
    data.loc[(data.Doc == doc) & (data.Monto == monto), 'Obs'] = 'Ok'
print(data)

Que me arroja este resultado:

    Doc  Monto Tipo       Sup Obs
0  1234     20    I      Juan  Ok
1  2345     30    E     Pedro  Ok
2  3456     45    E      Juan
3  1234     21    I      Juan
4  1234     20    E  Carolina  Ok
5  5678     30    E      Juan
6  6789      6    I  Carolina
7  2345     30    I  Carolina  Ok

Como puedes observar, antes de agrupar, he preparado un data-frame sin las columnas de Sup y Obs, esto buscando mayor eficiencia a la hora de agrupar.

Es muy probable que haya una forma más eficiente de hacer el último recorrido y asignación de valores en el df original valiéndose del propio pandas, pero estoy seguro que lo propuesto va a resultar ordenes de magnitúd más rápido que el código original.

OJO, que para producción, si esto va a ser repetido, yo haría las validaciones necesarias para asegurarme que el conjunto de datos de entrada cumple con las dos premisas explicadas al inicio de mi respuesta.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.