2

Estoy intentando construir un sistema básico de recomendación de libros basado únicamente en el historia de compras o en los clicks del usuario. Construí un pequeño sistema que hace recomendaciones basadas en el género y el autor del libro (utilizando CountVectorizer y cosine similarity) que funciona decentemente aunque es simplemente una búsqueda por género/autor.

Mi objetivo final es hacer un mix de ambos sistemas para mejorar la precisión pero lo primero es lo primero, no tengo muy claro como enfocar las recomendaciones basadas en compras pasadas... creo que utilizar SVD sería acertado usando la cantidad de compras de un libro por diferentes usuarios (una especie de rating), pero ¿Cómo preparo los datos para este algoritmo sin deshacerme de lo que es el historial de compras propiamente dicho?

Quiero decir, tengo el dataframe formateado de la siguiente manera:

  • username (nombre de usuario [único])
  • product (id del libro [único])
  • count (cantidad de libros que ese usuario compró)

para utilizar SVD ¿debería cambiarlo?, es decir, perder el username para tener simplemente product y la cantidad de esos libros que se han comprado.

Mi objetivo es que si el user A ha comprado el libro1, libro2 y libro3, y el userB ha comprado el libro2, el libro3 y el libro4, el sistema debería devolver para el userA que el libro4 es una buena opción.

Aunque esto me genera una duda, ¿qué hacer con los usuarios que no comparten patrones? ¿Hacer una recomendación por popularidad?

Así que mi siguiente objetivo sería si user A ha comprado libro1, libro2 y libro3, de los cuales libro1 y libro2 son de fantasía, recomendar un libro de fantasía es una opción adecuada, es decir, hacer la recomendación basándose en las similitudes de los libros comprados anteriormente.

4
  • 3
    La pregunta luce basada en opiniones lo cual generaría su cierre, recomiendo leer Cómo preguntar
    – user128299
    el 13 feb. 2020 a las 11:02
  • solo añadir que son decisiones del programador, en este caso tu, igual puedes hacer algo mediante machine learning o algo así para la toma de decisiones del sistema
    – Iria
    el 13 feb. 2020 a las 11:27
  • He editado la pregunta de @Sarah Kerrigan para que se pueda entender mejor. No digo que esta pregunta sea un ejemplo de pregunta bien formulada, porque podría haber adjuntado el dataframe que tiene, ejemplos de datos, etc. Pero en este caso las preguntas son claras y concisas. 1/2 el 13 feb. 2020 a las 12:59
  • 1- ¿Cómo preparar los datos para el algoritmo? Esto no es opinable, si tu le pasas los datos al algoritmo en otro formato al que te lo pide, no va a funcionar. 2- ¿Que hacer con los usuarios que no comparten patrones? Esto tampoco es opinable, hay mucha literatura e investigación al respecto y está comprobado que recomendaciones basadas en popularidad o en un cuestionario previo es lo que mejor funciona. Con todo el respeto pero no entiendo en base a qué, se dice que "son opiniones" o "decisiones del programador" @Aprendiz Iria 2/2 el 13 feb. 2020 a las 13:04

1 respuesta 1

3

Voy por partes y hablando de forma general, ya que puede haber problemas muy específicos que no se adapten a ciertos casos, pero voy a crear una guía de introducción a sistemas de recomendación.
Hay que tener en cuenta que un sistema de recomendación no es solo un sistema puramente matemático perfecto, si no que tiene que tener sentido para la empresa y el usuario.

1 Clases de sistemas de recomendación.

Hay varios tipos, pero los más conocidos son:

  • Collaborative Filtering: se basa en comparar usuarios,si dos usuarios compran, puntuan, etc. De forma similar los mismos libros, probablemente los libros que no haya comprado uno le gusten al otro y viceversa. Ejemplo: cuando Amazon te envía un correo promocional con productos que puedes comprar.

  • Content Based Filtering: se basa en las características de los artículos, por ejemplo si compro libros de drama, que son relatos cortos, por autores Españoles, escritos en el siglo XXI, el sistema me deberá mostrar artículos con características parecidas. Ejemplo: cuando entras en un producto en concreto y te muestra productos similares

Basaré los ejemplos en Amazon, puesto que es un ejemplo de como usar sistemas de recomendación. Ellos mismos han declarado que les aporta más de un 20% de sus ventas anuales!!

2. ¿En qué baso mi sistema de recomendación?

"Estoy intentando construir un sistem básico de recomendación de libros basado únicamente en el historia de compras o en los clicks del usuario"

Normalmente los clicks es un mal método para basar tu sistema de recomendación, porque un click no es una acción definitiva, es decir que un usuario visite un libro, no quiere decir que este interesado en dicho libro, o que le interesen libros similares y probablemente esta métrica lo que hará es ensuciar el sistema. Por el contrario, una compra o una valoración, son patrones claros del interés que tiene una persona en un libro, estos son los datos que deberías tomar.

3. Mejorar el error

"La verdad es que mi objetivo final es hacer un mix de ambos sistemas para mejor la precisión"

Como comenté esto es un tema también "Marketiniano", no es puramente matemático de tener el menor error posible. Imagina cuando estamos en Netflix, cuando Netflix nos recomienda películas, algunas de ellas las hemos visto, eso hace que nosotros como usuarios, tengamos confianza en las recomendaciones de Netflix. "Si he visto esta película y sé que me gustó mucho, estas otras que me recomiendan y no las he visto, probablemente me gusten también".

Por el contrario imaginemos que creamos un sistema que tiene el menor error posible, pero solo nos recomienda cosas nuevas y desconocidas. Nuestro pensamiento como usuario será. "Me gustan las películas, he visto muchas, y resulta que todas las películas que me está recomendando Netflix son absolutamente desconocidas para mí, esto es muy raro". Dicho usuario tenderá a desconfiar del sistema y no tener demasiado en cuenta dichas recomendaciones, ¡Aunque sean las mejores!

Por otro lado, puede que encierres a un usuario en un bucle, es decir, solo le recomiendo libros de drama, que sean relatos cortos, españoles y del siglo XXI. No le permites explorar otras vías y otros productos que seguramente le pueden parecer buenos.

Con esto pretendo desmontar el mito de obtener le mínimo error posible, ya que si introduces

  • Libros que actualmente el consumidor a consumido y que saben que le gustan
  • Libros aleatorios que son populares y permitir explorar otras vías.

Tu sistema de recomendación tendrá más error, pero conseguirá más ventas que otro con menor error. Por supuesto, esto en su justa medida.

4. ¿Qué sistema de recomendación uso?

"creo que utilizar SVD sería acertado"

Estoy de acuerdo es muy efectivo, y sencillo de usar y comprender. Te recomendaría usar su versión mejorada SVD ++ que es muy parecido. En este caso te recomiendo usar la librería Surprise de Python, que está exclusivamente dedicada a sistemas de recomendación con distintos algoritmos. Si has usado la librería Scickit-Learn su funcionamiento es muy parecido, te quedo un ejemplo de la propia librería y puedes ver su documentación aquí

from surprise import SVD++
from surprise import Dataset
from surprise import accuracy
from surprise.model_selection import train_test_split


# Cargamos los datos
data = Dataset.load_builtin('ml-100k')

# Dividimos en train y test
trainset, testset = train_test_split(data, test_size=.25)

# Instanciamos SVD++
algo = SVD++()

# Entrenamos y realizamos predicciones
algo.fit(trainset)
predictions = algo.test(testset)

# Calculamos el error.
accuracy.rmse(predictions)

Pero también hay otros algoritmos interesantes basados en técnicas de clustering, busqueda de vecinos cercanos e incluso redes neuronales como RBM's, autoencoders o RNN para hacer recomendaciones basadas en clicks. Pero como te dije, te recomiendo por su calidad, sencillez y efectividad, comenzar por SVD o SVD++

Con la similaridad del coseno.

En el caso de que tengas valores binarios, como compra o no compra, SVD y la descomposición de matrices podría no tener sentido, ya que el resultado son fracciones y tu lo que buscas son valores binarios. Habría que ver los datos en detalle.

En ese caso puedes usar la similaridad del coseno como estás haciendo es una buena opción.

También puedes probar otros algorimos como BFM (factorización de matrices binaria) o LogisticSVD. Aunque aquí no te puedo ser de ayuda, ya que no tengo los suficientes conocimientos ni experiencia de como funcionan matemáticamente estos algoritmos.

5 Preparación de los datos

"no tengo muy claro como preparar los datos para este algoritmo"

Actualmente el paquete ha evolucionado mucho, y ya te permite cargar los datos de distintas formas, por ejemplo aquí un dataset normal.

import pandas as pd
from surprise import Dataset
from surprise import Reader

ratings_dict = {
    "item": [1, 2, 1, 2, 1, 2, 1, 2, 1],
    "user": ['A', 'A', 'B', 'B', 'C', 'C', 'D', 'D', 'E'],
    "rating": [1, 2, 2, 4, 2.5, 4, 4.5, 5, 3],
}

df = pd.DataFrame(ratings_dict)
reader = Reader(rating_scale=(1, 5))

# Aquí ponemos los datos directamente para poder lanzar directamente el algoritmo
data = Dataset.load_from_df(df[["user", "item", "rating"]], reader)

#Dividimos en train y test
trainset, testset = train_test_split(data, test_size=.25)

# Instanciamos SVD
algo = SVD()

# Entrenamiento y predicción
algo.fit(trainset)
predictions = algo.test(testset)

# Calculamos la raiz del error cuadrático medio
accuracy.rmse(predictions)

Similaridad del coseno

En este caso la forma de preparación de los datos es sencilla. Simplemente debes poner los usuarios en el indice del dataframe, los ids de libros en columnas, y la puntuación dada en el cruce entre ambos. De esta forma tendrás una matriz sparse de datos de cada usuario y los libros (en el caso de que sea, compra o no compra, usa 0 y 1).

Imagen sobre una matriz sparse

6 Usuarios que no tengo patrones por falta de historial de datos o Nuevos usuarios

"¿Qué hacer con los usuarios que no comparten patrones? ¿Hacer una recomendación por popularidad?"

En este caso puedes tomar tantas opciones como te de la imaginación. Si tienes poco Historial de usuarios puedes probar a hacer las recomendaciones más populares en distintas categorías.

Otra opción muy usada con los nuevos usuarios (no tienes datos porque son nuevos) es hacerle un pequeño cuestionario de 3 a 5 preguntas, para tratar de inferir sus gustos y poder realizar recomendaciones.

5
  • Gracias! La verdad es que una de mis grandes dudas era si podía usar SVD con compras en vez de con ratings pero si es posible eso ya me quita un peso de encima, una duda que me queda es: al preparar los datos en la matriz, debería poner si el usuario ha comprado el libro como un 1 y sino como un 0 o sería mejor escalar el total de libros que ha comprado de alguna manera?
    – user149647
    el 13 feb. 2020 a las 11:17
  • 1
    Supongo que esta última opción de hacer el escalado no tendría mucho sentido con libros, sería algo más bien para un supermercado.
    – user149647
    el 13 feb. 2020 a las 11:18
  • Y muchísimas gracias por la introducción tan detallada!
    – user149647
    el 13 feb. 2020 a las 11:18
  • 1
    Genial! Y el entrenamiento del algoritmo se haría sobre la matriz ya preparada, no sobre los datos originales, no?
    – user149647
    el 13 feb. 2020 a las 13:00
  • Efectivamente con la matriz final. Te he añadido otra forma en el punto 5. Pero te recomiendo que le dediques tiempo, y te leas la documentación, es algo costoso, pero te va a ayudar mucho más que sí te lo voy diciendo yo :) el 13 feb. 2020 a las 15:18

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.