Entiendo que las llamadas que haces a sp.track()
y sp.artist()
son consultas a la API de spotify, y como tales requieren comunicaciones de red.
Las comunicaciones de red son el verdadero cuello de botella en este problema, ya que la red es millones de veces más lenta que la CPU.
Una posible solución sería utilizar hilos, que permitirán realizar varias peticiones a la vez (tal como lo tienes, las peticiones se van realizando en secuencia y hasta que no termine una no puede empezar la siguiente). Sin embargo es posible que si usas hilos y lanzas muchas peticiones simultáneas, el servidor de Spotify te bloquee durante un tiempo por "abuso". Realmente habría que ver las condiciones y términos de la API para ver cuántas peticiones por segundo estás autorizada a realizar.
Antes de investigar en el uso de hilos para realizar varias peticiones simultáneas, propongo otros dos acercamientos previos:
Revisa la documentación de la API de Spotify para ver si te permite realizar una consulta en la que puedas pedir múltiples id_track a la vez, y te retorne una lista con todos ellos. Eso reducirá el número de peticiones a la API y por tanto acelerará el proceso. Si tienes 100 tracks, en lugar de hacer 100 peticiones podrías quizás hacer sólo 10 peticiones pidiendo info de 10 tracks distintos en cada una (o quizás incluso una sola llamada para los 100 tracks)
Si por casualidad tu lista de tracks contiene elementos repetidos, estarías haciendo la misma petición más de una vez. Se podrían eliminar las peticiones duplicadas.
Si tienes varios tracks correspondientes a un mismo artista, estás repitiendo de forma innecesaria llamadas a sp.artist()
, pues con hacerla una sola vez ya tendrías la info de ese artista para todos los tracks en que aparezca.
Los puntos 2 y 3 se pueden resolver muy fácilmente con la siguiente idea:
Idea: usa una cache
Una caché es una memoria que guarda los resultados que hayas ido obteniendo para no tener que pedirlos otra vez. La buena noticia es que no necesitas ni siquiera implementarla pues Python ya te da una hecha en la biblioteca functools
. Basta que la importes y añadas el decorador @cache
delante de las funciones que lo necesiten.
Esto hace que la primera vez que se llame a una función decorada con @cache
, la función se ejecute normalmente, pero Python "recuerde" el valor retornado por la función. La próxima vez que la llames de nuevo con el mismo parámetro, Python ni siquiera ejecutará la función, sino que te retornará directamente el valor "recordado" (almacenado en la cache).
Para aplicar esta solución interesa por tanto extraer el código de tu función a otras dos. Una que obtenga la info del track y otra que obtenga la info del artista:
from functools import cache
@cache
def GetTrackInfo(id):
meta = sp.track(id)
track_id =meta['id']
artist_track = meta['album']['artists'][0]['id']
return track_id, artist_track
@cache
def GetArtistGenres(artist_track):
artist_info = sp.artist(artist_track)
artist_genres = artist_info["genres"]
return artist_genres
De este modo tu función "principal" quedaría ahora en la forma siguiente:
@cache
def TrackGenre(id):
track_id, artist_track = GetTrackInfo(id)
artist_genres = GetArtistGenres(artist_track)
return [track_id, artist_track, artist_genres]
Si llamas a TrackGenre()
varias veces con el mismo id
, la función se ejecutará sólo una vez y en las llamadas siguientes retornará lo mismo sin necesidad de ejecutarse. Esto mejora la velocidad si tienes id
repetidos.
Pero aún si no tienes id
repetidos, ya que internamente la función llama a GetArtistGenres()
que también tiene el decorador @cache
, cuando aparezcan artistas repetidos obtendrás también ganancia de velocidad, pues sólo la primera vez que aparezca el artista se ejecutará la función, y en las veces siguientes se usará el valor cacheado (todo esto automáticamente, sólo por la presencia del decorador).
Otra idea
Con respecto al enfoque sugerido en el punto 1, veo que la API efectivamente tiene una función sp.tracks()
a la que puedes pasar una lista de ids, en vez de un solo id, y te retorna otra lista con la metainfo de todos esos tracks. La máxima cantidad de tracks que puedes obtener a través de esa función es de 50. Así que tendrás que iterar igualmente, pero por cada iteración obtienes 50 tracks en vez de uno solo.
Para evitar tener que después hacer una petición sp.artist()
para cada track, puedes también recopilar la lista de artistas diferentes (usando un conjunto python) para agruparlos de 50 en 50 y usarlos en llamadas a sp.artists()
. Así sacarías 50 artistas de cada vez (y además no harías peticiones repetidas, pues ya habíamos eliminado los artistas repetidos al crear el conjunto de artist_id).
La lista de artistas que obtendrías del paso anterior se puede convertir en un diccionario cuyas claves sean artist_id, para agilizar después las búsquedas.
Sería cuestión después de juntar toda esa información, iterando por la lista de tracks y usando el diccionario de artistas para asociar la información de género.
sp.track(id)
ysp.artist(artist_track)
, por lo que paralelizando seguramente puedas optimizarlo