5

Cordial saludo

Quisiera pedir de su colaboración , con la siguiente situación:

Tengo un dataframe con 156.000 registros y estoy realizando una consulta con el API de spotify con la cual ya me autentique y construi una función que ya me extrae la informacion que necesito la cual es la siguiente:


 def TrackGenre(id):
    #print("hola 1")
    #print(id)   
    meta = sp.track(id) 
    #print("hola 2")
    # metadata
    name = meta['name']
    track_id =meta['id']
    album = meta['album']['name']
    artist_track = meta['album']['artists'][0]['id']

    #print("hola 3")
    #Main Artist
    #artist_uri = track["track"]["artists"][0]["uri"]
    artist_info = sp.artist(artist_track)
   
    #Name, popularity, genre
    artist_genres = artist_info["genres"]
    genres = artist_genres
    #print("hola 5")
    cruce = [track_id,artist_track,artist_genres]
    return cruce

Cuando hago la consulta para mi data frame original , estoy utilizando esta forma la cual no es muy optima

lista=[]
x = 0
for item in tracks:
  cruce3=TrackGenre(item)
  lista.append(cruce3)
  x = x + 1
  if(x==1000):
    break

asi que cambie al siguiente

my_list = [TrackGenre(value)  for value in tracks[1:1000]]
my_list

Aun se sigue demorando muchisimo tiempo ; que sugerencia me harian para optimizar mi codigo

Muchas gracias

3
  • 1
    Has probado a utilizar hilos? Es probable que esté tardando por las peticiones que estás haciendo con sp.track(id) y sp.artist(artist_track), por lo que paralelizando seguramente puedas optimizarlo el 16 mar. 2022 a las 17:35
  • 2
    hay un sitio particular para esta clase de preguntas, y no es este.. fijate en code review
    – gbianchi
    el 16 mar. 2022 a las 17:48
  • @CésarGonzález, anoche estuve estudiando estos hilos pero no he podido comprender bien el concepto y no lo he podido aplicar ; me recomendarias algun articulo o video donde lo pueda aplicar ?? el 16 mar. 2022 a las 18:42

1 respuesta 1

5

Entiendo que las llamadas que haces a sp.track() y sp.artist() son consultas a la API de spotify, y como tales requieren comunicaciones de red.

Las comunicaciones de red son el verdadero cuello de botella en este problema, ya que la red es millones de veces más lenta que la CPU.

Una posible solución sería utilizar hilos, que permitirán realizar varias peticiones a la vez (tal como lo tienes, las peticiones se van realizando en secuencia y hasta que no termine una no puede empezar la siguiente). Sin embargo es posible que si usas hilos y lanzas muchas peticiones simultáneas, el servidor de Spotify te bloquee durante un tiempo por "abuso". Realmente habría que ver las condiciones y términos de la API para ver cuántas peticiones por segundo estás autorizada a realizar.

Antes de investigar en el uso de hilos para realizar varias peticiones simultáneas, propongo otros dos acercamientos previos:

  1. Revisa la documentación de la API de Spotify para ver si te permite realizar una consulta en la que puedas pedir múltiples id_track a la vez, y te retorne una lista con todos ellos. Eso reducirá el número de peticiones a la API y por tanto acelerará el proceso. Si tienes 100 tracks, en lugar de hacer 100 peticiones podrías quizás hacer sólo 10 peticiones pidiendo info de 10 tracks distintos en cada una (o quizás incluso una sola llamada para los 100 tracks)

  2. Si por casualidad tu lista de tracks contiene elementos repetidos, estarías haciendo la misma petición más de una vez. Se podrían eliminar las peticiones duplicadas.

  3. Si tienes varios tracks correspondientes a un mismo artista, estás repitiendo de forma innecesaria llamadas a sp.artist(), pues con hacerla una sola vez ya tendrías la info de ese artista para todos los tracks en que aparezca.

Los puntos 2 y 3 se pueden resolver muy fácilmente con la siguiente idea:

Idea: usa una cache

Una caché es una memoria que guarda los resultados que hayas ido obteniendo para no tener que pedirlos otra vez. La buena noticia es que no necesitas ni siquiera implementarla pues Python ya te da una hecha en la biblioteca functools. Basta que la importes y añadas el decorador @cache delante de las funciones que lo necesiten.

Esto hace que la primera vez que se llame a una función decorada con @cache, la función se ejecute normalmente, pero Python "recuerde" el valor retornado por la función. La próxima vez que la llames de nuevo con el mismo parámetro, Python ni siquiera ejecutará la función, sino que te retornará directamente el valor "recordado" (almacenado en la cache).

Para aplicar esta solución interesa por tanto extraer el código de tu función a otras dos. Una que obtenga la info del track y otra que obtenga la info del artista:

from functools import cache

@cache
def GetTrackInfo(id):
  meta = sp.track(id)
  track_id =meta['id']
  artist_track = meta['album']['artists'][0]['id']
  return track_id, artist_track

@cache
def GetArtistGenres(artist_track):
  artist_info = sp.artist(artist_track)
  artist_genres = artist_info["genres"]  
  return artist_genres

De este modo tu función "principal" quedaría ahora en la forma siguiente:

@cache
def TrackGenre(id):
  track_id, artist_track = GetTrackInfo(id)
  artist_genres = GetArtistGenres(artist_track)
  return [track_id, artist_track, artist_genres]

Si llamas a TrackGenre() varias veces con el mismo id, la función se ejecutará sólo una vez y en las llamadas siguientes retornará lo mismo sin necesidad de ejecutarse. Esto mejora la velocidad si tienes id repetidos.

Pero aún si no tienes id repetidos, ya que internamente la función llama a GetArtistGenres() que también tiene el decorador @cache, cuando aparezcan artistas repetidos obtendrás también ganancia de velocidad, pues sólo la primera vez que aparezca el artista se ejecutará la función, y en las veces siguientes se usará el valor cacheado (todo esto automáticamente, sólo por la presencia del decorador).

Otra idea

Con respecto al enfoque sugerido en el punto 1, veo que la API efectivamente tiene una función sp.tracks() a la que puedes pasar una lista de ids, en vez de un solo id, y te retorna otra lista con la metainfo de todos esos tracks. La máxima cantidad de tracks que puedes obtener a través de esa función es de 50. Así que tendrás que iterar igualmente, pero por cada iteración obtienes 50 tracks en vez de uno solo.

Para evitar tener que después hacer una petición sp.artist() para cada track, puedes también recopilar la lista de artistas diferentes (usando un conjunto python) para agruparlos de 50 en 50 y usarlos en llamadas a sp.artists(). Así sacarías 50 artistas de cada vez (y además no harías peticiones repetidas, pues ya habíamos eliminado los artistas repetidos al crear el conjunto de artist_id).

La lista de artistas que obtendrías del paso anterior se puede convertir en un diccionario cuyas claves sean artist_id, para agilizar después las búsquedas.

Sería cuestión después de juntar toda esa información, iterando por la lista de tracks y usando el diccionario de artistas para asociar la información de género.

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.