5

Tengo el siguiente DataFrame simplificado (el real tiene 26 millones de registros):

df:
     id D1   D2   D3   D4
0   111  A    B    C    D
1   222  B    C    D  NaN
2   333  C    A  NaN  NaN
3   444  A  NaN  NaN  NaN
4   111  A    E    C    M
5   333  C    M  NaN  NaN
6   555  D    E  NaN  NaN
7   111  E    A    B  NaN
8   444  F  NaN  NaN  NaN
9   333  G    A  NaN  NaN
10  666  H    N  NaN  NaN 

Requiero obtener los siguientes registros por cada id: 1. Número de registros en la base 2. Número de valores diferentes de D 3. Número total de D

El código usado es el siguiente:

iden = df['id'].unique().tolist()
reporte=pd.DataFrame(columns=['ide','n_c','n_dif','n_total'])
for i in iden: 
    c = df[df['id'] == i]
    d = c['D1'].append([c['D2'], c['D3'], c['D4']]) 
    d = d.dropna()  
    d_dif = d.drop_duplicates()
    reporte=reporte.append({'ide':i,'n_c':len(c),'n_dif':len(d_dif) ,'n_total': len(d)},ignore_index=True)

y el resultado obtenido es:

   ide n_c n_dif n_total
0  111   3     6      11
1  222   1     3       3
2  333   3     4       6
3  444   2     2       2
4  555   1     2       2
5  666   1     2       2

Requiero encontrar un camino en pandas para reemplazar el for que busca los registros de cada id en la base de datos, puesto que se demora aproximadamente un segundo en la búsqueda y realización del cálculo por id, lo que es muy ineficiente si se tiene en cuenta el tamaño de la base.

Agradezco si me pueden ayudar.

2 respuestas 2

2

Lo que puedes hacer, es construir una función que procese cada grupo:

def stats(x):

  complete_list = [item for sublist in x.values.tolist() for item in sublist]
  without_nan = [item for item in complete_list if item is not np.nan]
  d = {}
  d['n_c'] = len(x)
  d['n_dif'] = len(set(without_nan))
  d['n_total'] = len(without_nan)

  return pd.Series(d)

Como se puede apreciar, la función stats convierte todos los valores de todas las columnas recibidas en una simple lista, luego simplemente usamos ésta para los cálculos y retornamos una Serie que serán nuestras columnas nuevas.

Luego simplemente aplicamos las función a cada grupo:

grouped = df.groupby(['id'])[['D1', 'D2', 'D3', 'D4']].apply(stats)

print(grouped)
         n_c  n_dif  n_total
id                      
111    3      6       11
222    1      3        3
333    3      4        6
444    2      2        2
555    1      2        2
666    1      2        2

Al menos con este conjunto de datos, se logra reducir los tiempos a la tercera parte con respecto a lo que ya estás haciendo, pero deberías probarlo con el conjunto completo de los datos.

1
  • Muchisimas gracias!
    – Carolina
    el 1 may. 2020 a las 17:07
1
+50

Partiendo de groupby, hay dos columnas cuyo cálculo es muy simple de forma vectorizada:

  • Para n_c basta con usar pandas.DataFrame.groupby.size
  • Para n_total podemos usar pandas.DataFrame.groupby.count seguido de sum para sumar cada fila. count descarta los NaN por defecto.

El problema está en obtener los valores únicos para cada grupo teniendo en cuenta todas las columnas. En este caso lo mejor que se me ha ocurrido ha sido usar pandas.unique sobre una vista del array aplanado, lo cual nos genera un array con los items únicos, seguido de pandas.Series.count para contar los items descartando los NaN.

groups = df.groupby("id")
reporte = pd.DataFrame({
    'n_c': groups.size(),
    'n_dif': groups[['D1', 'D2', 'D3', 'D4']].apply(
        lambda group: pd.Series(pd.unique(group.values.ravel())).count()),
    'n_total': groups.count().sum(axis=1)}
    )

El ejemplo completo reproducible:

import io
import pandas as pd



data = io.StringIO("""\
  id D1   D2   D3   D4
111  A    B    C    D
222  B    C    D  NaN
333  C    A  NaN  NaN
444  A  NaN  NaN  NaN
111  A    E    C    M
333  C    M  NaN  NaN
555  D    E  NaN  NaN
111  E    A    B  NaN
444  F  NaN  NaN  NaN
333  G    A  NaN  NaN
666  H    N  NaN  NaN 
""")


df = pd.read_csv(data, sep="\s+", engine="python")


groups = df.groupby("id")
reporte = pd.DataFrame({
    'n_c': groups.size(),
    'n_dif': groups[['D1', 'D2', 'D3', 'D4']].apply(
        lambda group: pd.Series(pd.unique(group.values.ravel())).count()),
    'n_total': groups.count().sum(axis=1)}
    )
>>> reporte
     n_c  n_dif  n_total
id                      
111    3      6       11
222    1      3        3
333    3      4        6
444    2      2        2
555    1      2        2
666    1      2        2
1
  • Muchas gracias!
    – Carolina
    el 5 may. 2020 a las 21:01

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.