1

Comento mi problema. Tengo un DF que contiene 2 columnas que necesito agrupar, pero con ciertas condiciones. Cada fila corresponde a un registro de compra.

  • Columna fecha: fecha de compra de un producto

  • Columna id_cliente: código único de cada cliente (ejemplo de código: 0003KVW, R34YYTH, etc.

  • Columna descripcion_compras: columna con texto redactado por trabajadores que contiene los nombres de productos adquiridos por los clientes. En este ejemplo, buscaremos (str.contains) los nombres de los producto_A y producto_B

Lo que necesito es saber, en total, cuántos veces distintas ha comprado un producto cada cliente. Ojo: si en un registro de compra (una fila), un cliente me compra 2 veces el producto_A, yo solo voy a contar 1: me interesan las ocasiones distintas en las que ha comprado cada producto, no el número total de productos de cada tipo que ha comprado.

Problemas: es posible que un cliente, en un mismo día, haga 2 compras, por lo que aparecerán 2 filas con el mismo id_cliente y la misma fecha y con compras distintas.

Mi lógica:

  1. Necesito agrupar las compras de cada cliente (col id_cliente) de cada fecha (col fecha) para tener todas las compras de cada cliente de un mismo día agrupadas. Entiendo que es un groupby con 2 columnas.

  2. Luego, debería crear una lista de listas ("lista_del_diccionario") que contenga id_cliente y busque en cada fila, en la columna descripcion_compras, cuántas veces aparece "producto_A" y "producto_B", tomar las cantidades y especificarlo.

  3. Crear un dataframe con la lista_del_diccionario que contenga varias columnas: id_cliente, compra_producto_A, compra_producto_B.

Es decir: saber cuántos días distintos ha adquirido cada producto (y, repito, no el número de productos de cada tipo: si un día compra 15 veces el producto_A, ese día cuenta solo como 1.

fecha       id_cliente   descripcion_compras
2020-07-31  0003KVW      aceite, producto_A, producto_B
2020-07-31  0003KVW      crema, producto_A
2021-10-26  0003KVW      producto_A
2021-10-26  0003KVW      comida para gatos, producto_B
2021-10-26  0003KVW      arroz, producto_A, producto_B
2020-07-03  6275KFT      producto_A, jabon
2021-09-22  6275KFT      producto_A, producto_B

Os muestro:

lista_del_diccionario = list() 


for k in df.groupby(["id_cliente", "fecha"]).groups.keys():
    user_data = dict() 
    data = df.groupby("id_cliente").get_group(k)
    compra_producto_A = data["descripcion_compras"].str.contains("producto_A").count()
    compra_producto_B = data["descripcion_compras"].str.contains("producto_B").count()

    
    user_data.update({
        "id_cliente": id_cliente,
        "compra_producto_A": compra_producto_A,
        "compra_producto_B":compra_producto_B,
    })
    lista_del_diccionario.append(user_data)  # Agregamos el diccionario que acabamos de crear a "lista_del_diccionario"

    
    
compras_totales = pd.DataFrame(lista_del_diccionario)
compras_totales
 

output:

KeyError: ('0003KVW', Timestamp('2020-07-31 00:00:00'))

¿Qué está pasando? Luego intuyo que habrá otro problema: en el "count() que hago, ¿contará solamente los valores que sean >0? Lo digo porque si en una fecha no hay ninguna compra del producto_A, en esa fila aparecerá 0, pero al hacer el count lo contará igualmente (aunque no "sume" nada). No sé si me explico.

Tampoco puedo hacer un sum(), ya que si un dia compra el producto_A y otro día lo compra 3 veces, el sum() me dará como resultado 4, y en verdad, me interesa que sea 2 (que son los días distintos en los que ha comprado el producto.

El output que me gustaría tener es:

id_cliente  compra_producto_A   compra_producto_B
0003KVW     2                   2   
6275KFT     2                   1   

¿Alguien me puede arrojar luz? Estoy bloqueado con esto.

¡¡Muchísimas gracias!!

3
  • Buen día, las preguntas que buscan ayuda con la depuración deben incluir el comportamiento esperado, un problema específico o error, y el código más corto necesario para reproducirlo en la propia pregunta. Las preguntas sin un planteamiento claro del problema no son útiles para otros lectores. Véase: Cómo crear un Ejemplo mínimo, completo y verificable. Por favor agrega algunas filas de tu dataframe con lo que se pueda reproducir el error que comentas el 3 jun. 2022 a las 9:26
  • Tienes razón. He editado la pregunta. ¡Muchas gracias y un saludo!
    – Deshume
    el 3 jun. 2022 a las 10:17
  • Primero tienes que poner los elementos de la lista en columnas, no usar "descripcion_compras" sino una columna para cada producto. Así es más fácil usar las herramientas como "groupby", si las guardas en listas te toca hacer un proceso adicional para sacarlas y ponerlas como columnas. el 7 jun. 2022 a las 16:58

2 respuestas 2

3
+50

Buen día,

Edición: La respuesta ha sido modificada para adaptarse a las necesidades del autor de la pregunta, puse dos métodos, el primero mostrando únicamente como obtener las dos columnas solicitadas, el segundo obteniendo el conteo total de todos los productos comprados por usuario

Método 1

Podrías utilizar pandas.Series.str.contains para revisar si algún producto en específico existe en la descripción y contarlo

Utilizando el dataframe de tu pregunta en un archivo "sample.csv" con separador ;

fecha id_cliente descripcion_compras
0 2020-07-31 0003KVW aceite, producto_A, producto_B
1 2020-07-31 0003KVW crema, producto_A
2 2021-10-26 0003KVW producto_A
3 2021-10-26 0003KVW comida para gatos, producto_B
4 2021-10-26 0003KVW arroz, producto_A, producto_B
5 2020-07-03 6275KFT producto_A, jabon
6 2021-09-22 6275KFT producto_A, producto_B

Luego puedes agrupar por fecha e id_cliente y concatenar el contenido de las filas, esto se puede hacer con la siguiente línea de código:

df1 = df.groupby(['fecha', 'id_cliente'], as_index=False).agg({'descripcion_compras': 'sum'})

Por último, agrupar por cliente y para el conteo de cada producto, puedes utilizar pandas.NamedAgg (No hay mucha información sobre este método, pero básicamente crea nuevas columnas en base a alguna función)

df1.groupby(['id_cliente']).agg(compra_producto_A = pd.NamedAgg(column="descripcion_compras", aggfunc= lambda x: x[x.str.contains('producto_A')].count()), compra_producto_B = pd.NamedAgg(column="descripcion_compras", aggfunc= lambda x: x[x.str.contains('producto_B')].count()))

Ejemplo completo:

import pandas as pd

df = pd.read_csv('sample.csv', sep=';')
df1 = df.groupby(['fecha', 'id_cliente'], as_index=False).agg({'descripcion_compras': 'sum'})
df1.groupby(['id_cliente']).agg(compra_producto_A = pd.NamedAgg(column="descripcion_compras", aggfunc= lambda x: x[x.str.contains('producto_A')].count()), compra_producto_B = pd.NamedAgg(column="descripcion_compras", aggfunc= lambda x: x[x.str.contains('producto_B')].count()))

Al imprimr df1 obtenemos:

id_cliente compra_producto_A compra_producto_B
0003KVW 2 2
6275KFT 2 1

Método 2

Este es un poco más avanzado y pensando que tal vez en un futuro tengas que contar todos los productos por cada cliente por fecha

Utilizando el mismo dataframe de la pregunta original primero creamos una lista en la columna descripcion_compras utilizando split(), en el ejemplo que pusiste cada producto está separado por una coma seguida por un espacio , así que ese conjunto de caracteres es el que podemos utilizar para crear la lista

df['descripcion_compras'] = df['descripcion_compras'].str.split(', ')

El siguiente paso es agrupar por fecha y por cliente para poder "concatenar" la lista de productos comprados por cliente por fecha

df1 = df.groupby(['fecha', 'id_cliente'], as_index=False).agg({'descripcion_compras': 'sum'})

Como únicamente debemos contar un producto por fecha sin importar la cantidad de elementos del mismo producto entonces debemos quitar los duplicados de la lista descripcion_compras por cliente por fecha

df1['descripcion_compras'] = df1['descripcion_compras'].apply(lambda x: list(pd.unique(x)))

Agrupamos por cliente para concatenar la lista de productos comprados en diferentes fechas

df2 = df1.groupby(['id_cliente'], as_index=False).agg({'descripcion_compras': 'sum'})

Y por último obtenemos el total de cada producto comprado por cada cliente en fechas diferentes (La explicación de esta linea está más abajo)

df2 = df2.explode('descripcion_compras').groupby(['id_cliente', 'descripcion_compras']).size().unstack(fill_value=0).reset_index().rename_axis(columns=None)

Explicación (Te recomiendo intentar probar cada uno de los métodos siguientes para que visualices como queda el dataframe después de cada paso):

  • Utilizamos explode('descripcion_compras') para que se separe la lista de productos en diferentes filas
  • Utilizamos groupby(['id_cliente', 'descripcion_compras']).size() para obtener la cantidad (Tamaño) de cada producto por cliente
  • Utilizamos unstack(fill_value=0) para convertir el nombre de cada producto en una columna diferente
  • Utilizamos reset_index().rename_axis(columns=None) para limpiar los nombres de los índices y columnas generados por el proceso anterior (Esto limpia la vista del dataframe)

Ejemplo completo:

import pandas as pd

#Obtener el dataframe original
df = pd.read_csv('sample.csv', sep=';')
#Crear una lista adentro de la columna descripcion_compras, utilizando el conjunto de caracteres coma y espacio: ', '
df['descripcion_compras'] = df['descripcion_compras'].str.split(', ')

#Agrupamos por fecha y cliente para concatenar la lista de productos por cliente por fecha
df1 = df.groupby(['fecha', 'id_cliente'], as_index=False).agg({'descripcion_compras': 'sum'})
#Eliminamos los duplicados de la lista
df1['descripcion_compras'] = df1['descripcion_compras'].apply(lambda x: list(pd.unique(x)))

#Agrupamos por cliente para concatenar la lista de productos por cliente
df2 = df1.groupby(['id_cliente'], as_index=False).agg({'descripcion_compras': 'sum'})
#Obtenemos el total de cada producto comprado por cliente en fechas diferentes
df2 = df2.explode('descripcion_compras').groupby(['id_cliente', 'descripcion_compras']).size().unstack(fill_value=0).reset_index().rename_axis(columns=None)

Al imprimir df2 obtenemos:

id_cliente aceite arroz comida para gatos crema jabon producto_A producto_B
0 0003KVW 1 1 1 1 0 2 2
1 6275KFT 0 0 0 0 1 2 1
7
  • Hola! Y gracias por la respuesta! Pero no me soluciona lo que pretendo conseguir. Este resultado lo había obtenido ya, pero no es lo que busco. Si te fijas, sigo teniendo una columna "fecha" y las compras de los productos A y B siguen separadas por fechas. Lo que necesito es agrupar las compras todas las compras que ha hecho para cada cliente, PERO teniendo en cuenta que si en un dia compra 2 veces el mismo producto, solo debe contarse como 1. No sé si se me entiende...
    – Deshume
    el 7 jun. 2022 a las 15:08
  • Ah ok, ya entendí. Pero el resultado esperado que pusiste en tu respuesta está mal no? El cliente "6275KFT" también debería tener 2 compras del producto A porque fueron en diferentes fechas, cierto? el 8 jun. 2022 a las 1:00
  • @Deshume, he editado la respuesta en incluí otro método más avanzado el 8 jun. 2022 a las 2:30
  • Muy cierto @HeytalePazguato! Modifiqué ya la pregunta. ¡Gracias!
    – Deshume
    el 9 jun. 2022 a las 7:53
  • @Deshume, por favor revisa la edición que he hecho a la respuesta, incluí un método que podrías utilizar en un futuro si necesitaras contar cada producto por fecha por usuario el 9 jun. 2022 a las 7:56
2

Lo mejor es que si deseas como salida una estructura con columnas para cada producto es que desde el comienzo guardes los datos de esa forma:

# %% poner items en columnas
ndf=df.copy()
listOfItems=",".join(df["descripcion_compras"]).split(",")
listOfItems=[item.strip() for item in listOfItems]
newCols=set(listOfItems)
ndf[list(newCols)]=0

for index,value in df.iterrows():
    for column in value["descripcion_compras"].split(","):
        ndf.at[index,column.strip()]=1

Este pedazo de código (el de arriba) realiza la conversión que sería innecesaria si desde el comienzo guardas los datos de esta forma (Se le conoce como "one hot encoding"):

introducir la descripción de la imagen aquí

La segunda parte, la parte central sería agrupar dos veces, una para cada día y cada cliente. Luego una que cuente los días distintos de cero, esto se puede lograr si se convierte a booleano cada dato distinto de cero como true o 1 y se suma.

# %% agrupar para contar dias de compras por cada item/cliente
temp=ndf.groupby(["fecha","id_cliente"]).sum()
temp.astype(bool).groupby("id_cliente").sum()

La primera línea devuelve la cantidad total por días: introducir la descripción de la imagen aquí Con la segunda línea, el resultado sería: introducir la descripción de la imagen aquí

*Nótese que en realidad el "productoA" lo compra el segundo cliente en dos días distintos no en uno.

1
  • Buen día, no es recomendable utilizar ciclos for con los dataframe ya que si la cantidad de datos es grande el proceso tardaría mucho, existen otros métodos de pandas que permiten realizar la misma tarea pero de forma eficiente, podrías utilizar por ejemplo apply() el 8 jun. 2022 a las 5:16

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.