8
votos
Aceptado
Como obtener el link del primer resultado de una búsqueda en Youtube con Beautiful Soap u otra libreria
No siempre hace falta hacer scraping :-)
YouTube tiene una API de búsqueda. Si te registras como desarrollador (lo cual es gratuito) obtienes una API_KEY con la que puedes realizar búsquedas y otras ...
- 57.8k
6
votos
Como obtener el link del primer resultado de una búsqueda en Youtube con Beautiful Soap u otra libreria
Tienes que usar Selenium, sé que no es la respuesta que querías, pero espero después de la explicación convencerte de que es lo correcto.
Por qué no puedo usar BeautifulSoup
En el scraping, al igual ...
- 7,593
5
votos
Web Scraping con Python, Listas vacias con BeautifulSoup, listas vacias con lxml
Y el tercer intento fue con Selenium
El problema es que el div que intentas localizar no forma parte del código fuente HTML de la página (que es lo que te descargas y sobre lo que intentas el ...
- 57.8k
5
votos
Aceptado
Obtener texto dentro de etiquetas comentadas usando BeautifulSoup
Una vez has encontrado el comentario, puedes convertirlo a cadena con str().
En tu caso, la cadena resultante en el fondo es otro documento html, por lo que perfectamente puedes volver a usar ...
- 57.8k
4
votos
Aceptado
base64 en google imagenes, web scraping
En google imágenes la URL de los thumbnails está en data-src, no en src.
Si modificas tu código para que bs4 seleccione los elementos que tengan ese atributo y luego lo asignas a la variable te ...
- 2,237
3
votos
Extraer una URL de <script> con BeautifulSoup y python
Se me ocurrió una idea, pero me he encontrado con algunos problemas técnicos (quizás consecuencia de modificaciones que hayas hecho en el código) para ponerla en práctica. Al final tengo una solución ...
- 57.8k
3
votos
Aceptado
Obtener todos los enlaces de una div específica
No estás usando BeautifulSoup de la forma correcta. Aparentemente te limitas a usar una expresión regular para sacar todos los href que haya en el texto de la página, pero para eso no necesitarías ...
- 57.8k
3
votos
Aceptado
Problemas importando librerias en Python
Justamente eso, puedes ver que la versión que tienes en BeautifulSoup, está en 3.2.1.
Intenta instalando:
$ pip install BeautifulSoup4
Si estás en python3 y tienes la versión 2 ya instalada, ...
3
votos
Aceptado
soup.find_all me devuelve array vacio []
El problema lo tienes en que el servidor está bloqueando las peticiones del User-Agent de requests, si miras la respuesta que estás recibiendo, es un 403 forbidden.
page = requests.get(url)
soup = ...
- 345
3
votos
Aceptado
¿Como puede obtener la información de un class div, cuando hay más dos con ese mismo nombre?
El problema que tienes no es que haya varios div con el mismo nombre. Eso no es mayor problema, pues si en vez de find() usas find_all() obtendrás una lista con cada uno de esos div. El problema es ...
- 57.8k
2
votos
Aceptado
Problema de codificación con BeautifulSoup ¿Cómo decodificar esto? -> (b'\xd1\x8e\xd1\x82\xd1\x83\xd0\xb1)
Posible reconstrucción de lo que ocurre:
La página que estas raspando contiene texto Unicode, en diferentes alfabetos y lenguajes (ya que en concreto la cadena que te ha dado problemas y que muestras ...
- 57.8k
2
votos
Aceptado
Problema con resultados de un Scraping en python con beautifulsoup
Si quieres tener una lista con los elementos de la tabla puedes hacer algo como esto:
Seguramente publiquen una respuesta mejor, pero humildemente, yo lo haría asi.
Obtener la tabla a traves de su ...
- 1,923
2
votos
Aceptado
¿Cómo gestionar las etiquetas <br> cuando se quiere extraer texto de un código html con BeautifulSoup?
Esto se complica por momentos, sigo sin poder reproducir tu problema... :(. Intentando simularlo con lo que explicas he llegado al siguiente código:
from bs4 import BeautifulSoup
import requests
...
- 56.2k
2
votos
Aceptado
Extraer links https o http BeatifulSoup
El método soup.findAll tambien acepta un parámetro attrs en el que se le puede
pasar un diccionario con los atributos de los nodo HTML que buscamos. A su vez cada
atributo puede ser una expresión ...
- 78
2
votos
Aceptado
¿Cómo se scrap dentro de una tabla html?
Asumo que buscas 29,873,600 porque esta resaltado en la imagen, tienes que recorrer la estructura desde el nodo en el que estés
soup.find('span', string='Total Revenue').parent.parent.next_sibling....
- 301
2
votos
BeautifulSoup Condicional Python, Web Scraping
Recuerda que Python distingue las mayúsculas de las minúsculas, entonces por ejemplo area, Area, AREA, aRea, son 4 identificadores distintos. También comentar que, el último ejemplo, aRea no es ...
2
votos
Aceptado
BeautifulSoup Condicional Python, Web Scraping
Lo mismo que Enrique, seria mejor usar un:
if("sub-espanol" in btnSig.get("href").split('/')[4]):
- 57
2
votos
Aceptado
¿Hay una manera más fácil de scrapear estos enlaces?
Si he entendido correctamente, la siguiente expresión generadora obtiene el mismo resultado que la tuya, y es mucho más simple:
li_s = [ a["href"] for elem in soup.find_all(class_ = "...
- 57.8k
2
votos
Aceptado
Imprimir contenido etiquetas HTML
Cuando se trata de extraer una tabla hay una forma más sencilla usando pandas. Es más eficiente y menos código.
import requests
import pandas as pd #Llamas a pandas
sitio="www.cloudflare.com&...
- 400
2
votos
Como obtener el link del primer resultado de una búsqueda en Youtube con Beautiful Soap u otra libreria
Se que quieres que todo se haga por BS4, pero con Selenium te sale en 3 líneas de código además puedes usar BS4 junto con Selenium, el siguiente scrpit te funciona solo para el primer resultado de la ...
2
votos
base64 en google imagenes, web scraping
La respuesta que te ha dado César es la que te permitirá acceder a las imágenes que deseas. Esta respuesta mía es sólo una mera curiosidad.
¿Qué es lo que viene en el campo src?
Se trata de una cadena ...
- 57.8k
2
votos
Aceptado
Como crear un diccionario a partir de una serie de elementos de selenium/beautifulsoup?
Si extraes por ejemplo todos los elementos de clase search_result_wrapper con una línea como esta:
main = soup.find_all("div",class_="search_result_wrapper")
El resultado que ...
- 57.8k
2
votos
Aceptado
Web scraping, separar texto de una columna
Despues de ...
con = con.drop_duplicates()
Esto debe funcionarte, ten en cuenta que el resultado final tambien contiene la actual columna 'magnitud', en el caso que no la quieras mantener solo tienes ...
- 101
2
votos
Aceptado
Scrap con BeautifulSoup pero no obtengo toda la info, los selectores son multiclase de un retail
Me he topado con varias páginas como Saga Falabella al hacer scraping y hay algunas páginas que no te la data, la muestran dinámicamente con JS y es necesario analizar las solicitudes internas (no ...
- 333
2
votos
Aceptado
No puedo Extraer Datos ocultos de una web con BeautifulSoup y python
Ten en cuenta que modulo requests no renderiza Javascript, asi que necesitas una alternativa.
La forma más facil de renderizar javascript es usando un navegador.
Puedes usar selenium u otro, pero el ...
- 863
1
voto
Extraer links https o http BeatifulSoup
Al traer todos los Anchor (<a>) , vas a traer desde la barra de navegación de la parte superior, hasta los que estan dentro de la tabla <tbody>.
Lo que puedes hacer es agregar algunas ...
- 1,923
1
voto
Recuperar los links de una página con botón ver más
Bueno voy a intentar ayudarte, para empezar, no se hasta donde se llega haciendo scroll en esa página. Así que a modo de ejemplo, hice un simple scroll 5 veces cada 1seg. Puedes usar Selenium para ...
- 1,923
1
voto
Obtener todos los enlaces de una div específica
Buenas yo alguna lo hice con la librería requests_html
Lo primero que harias seria instalarte la libreria con el siguiente comando:
pip install requests_html
Tomando el ejemplo que diste yo lo ...
- 167
1
voto
Aceptado
Extraer Descripción de cuenta de twitter (no los twitter ni los nº de twitter) Scrapeando
Ya tengo la solución, he tenido votos negativos por poca investigación, pero he logrado la respuesta, así que no veo puntuación negativa justificada.
import requests
from bs4 import BeautifulSoup
...
Only top scored, non community-wiki answers of a minimum length are eligible
Etiquetas relacionadas
beautifulsoup × 145python × 126
scraping × 46
python-3.x × 37
python-requests × 16
html × 13
selenium × 12
pandas × 9
web × 8
web-scrapping × 8
selenium-webdriver × 5
scrapy × 5
python-2.7 × 4
requests × 3
javascript × 2
css × 2
json × 2
django × 2
tkinter × 2
python-3.7 × 2
table × 2
data × 2
xpath × 2
php × 1
bootstrap × 1