No siempre hace falta hacer scraping :-)
YouTube tiene una API de búsqueda. Si te registras como desarrollador (lo cual es gratuito) obtienes una API_KEY con la que puedes realizar búsquedas y otras operaciones y recibir la respuesta en JSON. Incluso proporcionan una librería para Python para facilitar la interacción con su API.
Por otro lado, existe una increíble herramienta realizada en Python llamada Youtube-dl que permite descargar vídeos de Youtube y de otros sitios, y que hace uso de la API para búsquedas, y de scraping y otras técnicas para la descarga en sí. Examinando el código fuente de esa herramienta, la API_KEY de su desarrollador es visible (en Github), por lo que supongo que no le importará que la use para una prueba de concepto. No obstante lo que tú deberías hacer es usar tu propia API_KEY.
EDIT. El código que suministro a continuación funciona sólo con la API v1 y por tanto con API_KEYs antiguas. En una edición posterior (más abajo) doy código que funciona con la API v3 que es la actual, y con las nuevas API_KEYs. Mantengo aquí la respuesta original por si fuera de interés
Llamando a la API v1
Llamar a la API de búsqueda consiste en realizar una petición HTTP de tipo POST a una cierta URL de Youtube, y pasar en esa URL el valor de tu API_KEY. En el cuerpo del POST debes incluir un JSON con unos ciertos parámetros, que se pueden sacar también del fuente de youtube-dl, entre los cuales está la query
, es decir, la cadena de búsqueda que quieras usar.
Usando la librería requests
la petición a la API queda simplemente así:
r = requests.post(url, json.dumps(data).encode('utf8'),
headers={'content-type': 'application/json'} )
donde url
sería "https://www.youtube.com/youtubei/v1/search?key={API_KEY}"
y data
sería el JSON antes enlazado. Una API_KEY válida se puede ver también en el fuente de youtube-dl, un poco más abajo de la línea que enlacé.
La respuesta es un enoooorme JSON (puede ser realmente enorme si la búsqueda produce muchos resultados), que contiene montones de meta-data sobre cada vídeo. Es difícil navegar por todo ese JSON y entender todo lo que hay en él, pero la parte relevante es que al final, dentro de él (y bastante anidado en un montón de diccionarios), está la lista de los resultados (entremezclada con otros resultados que son publicidad) y cada resultado contiene entre otras cosas el videoId que te interesa, y su título, para mejor verificación.
He escrito una función que extrae de las entrañas de ese JSON la lista de los N primeros títulos y videoIds:
import requests
import json
def get_video_info(query, limit=10):
data = {'context': {
'client': {
'clientName': 'WEB',
'clientVersion': '2.20201021.03.00',
}
},
'query': query,
}
API_KEY = "NO_VOY_A_PONER_AQUI_LA_API_KEY"
url = f"https://www.youtube.com/youtubei/v1/search?key={API_KEY}"
r = requests.post(url, json.dumps(data).encode('utf8'),
headers={'content-type': 'application/json'} )
j = r.json()
# Extraer lista de resultados
results = (j["contents"]['twoColumnSearchResultsRenderer']['primaryContents']
['sectionListRenderer']['contents'][0]
['itemSectionRenderer']['contents'])
# Construir lista simplificada
info_list = []
for video in results:
info = video.get("videoRenderer")
if not info:
continue # Saltarse los resultados que son publicidad
# Extraer solo título e id
title = info["title"]["runs"][0]["text"]
video_id = info["videoId"]
info_list.append((video_id, title))
if len(info_list) == limit: # Detenerse cuando haya suficientes
break
return info_list
Un ejemplo de uso:
resultados = get_video_info("never gonna give you up")
print("\n".join(" ".join(data) for data in resultados))
produce:
dQw4w9WgXcQ Rick Astley - Never Gonna Give You Up (Video)
6_b7RDuLwcI Rick Astley Never gonna give you up lyrics!!!
Ykup4vetvmw Jerry Butler - Never Gonna Give You Up (1968)
IdkCEioCp24 Foo Fighters With Rick Astley - Never Gonna Give You Up - London O2 Arena 19 September 2017
IO9XlQrEt2Y Rick Astley - Never Gonna Give You Up (The Roxy 1987)
VbUuB1aN2DA Rick Astley - Never Gonna Give You Up - Live at The Isle of Wight Festival 2019
DLzxrzFCyOs Rick Astley - Never Gonna Give You Up [HQ]
BjDebmqFRuc Never Gonna Give You Up Voice Crack
xaazUgEKuVA never gonna give you up for 1 hour
Si lo que quieres es simplemente la URL del primer resultado se puede construir así:
url_primero = "https://www.youtube.com/watch?v={}".format(resultados[0][0])
Y así llegas a https://www.youtube.com/watch?v=dQw4w9WgXcQ
EDIT: Usando la API v3
El código anterior usa la API v1 de Youtube, la cual es obsoleta. Usé esa API porque me basé en el código de youtube-dl, pero esto fuerza a usar también la API_KEY de su desarrollador, lo que no es apropiado.
La forma correcta de hacer esto sería entonces crear una nueva API_KEY a través de la consola para desarrolladores de google, y hacerlo para la YouTube Data API v3
.
Esta API_KEY no es compatible con el código antes dado, y hay que escribir un código nuevo. Por suerte la API v3 es mucho más simple y limpia que la v1. La petición se hace con GET en vez de POST, y el JSON resultante es mucho más fácil de usar (y más corto, porque ya en la petición especificas el número máximo de resultados que quieres).
Esta sería la nueva función:
import requests
import json
def get_video_info(query, limit=10):
API_KEY = "AIzaS...TU PROPIA API_KEY"
url = f"https://www.googleapis.com/youtube/v3/search"
data = {
"key": API_KEY,
"part": "id,snippet",
"q": query,
"max_results": limit
}
r = requests.get(url, params=data)
j = r.json()
# Construir y retornar lista simplificada
return [ (v["id"]["videoId"], v["snippet"]["title"]) for v in j["items"] ]
Se llamaría de igual forma que la anterior, y retornaría una lista de tuplas en las que el primer elemento es el id del vídeo y el segundo es el título. CUIDADO porque el título puede contener cualquier carácter Unicode (emojis, japonés, etc.) que causaría problemas al tratar de imprimirlo en una terminal que no soporte ese juego de caracteres.
requests
ybs
no aparecen por ningun lado, deberías poner como has hecho las importaciónes para que sea más fácil ayudarte.