Información de etiqueta

Respuestas populares con la etiqueta

8 votos
Aceptado

Como obtener el link del primer resultado de una búsqueda en Youtube con Beautiful Soap u otra libreria

No siempre hace falta hacer scraping :-) YouTube tiene una API de búsqueda. Si te registras como desarrollador (lo cual es gratuito) obtienes una API_KEY con la que puedes realizar búsquedas y otras ...
  • 57.8k
6 votos

Como obtener el link del primer resultado de una búsqueda en Youtube con Beautiful Soap u otra libreria

Tienes que usar Selenium, sé que no es la respuesta que querías, pero espero después de la explicación convencerte de que es lo correcto. Por qué no puedo usar BeautifulSoup En el scraping, al igual ...
5 votos

Web Scraping con Python, Listas vacias con BeautifulSoup, listas vacias con lxml

Y el tercer intento fue con Selenium El problema es que el div que intentas localizar no forma parte del código fuente HTML de la página (que es lo que te descargas y sobre lo que intentas el ...
  • 57.8k
5 votos
Aceptado

Obtener texto dentro de etiquetas comentadas usando BeautifulSoup

Una vez has encontrado el comentario, puedes convertirlo a cadena con str(). En tu caso, la cadena resultante en el fondo es otro documento html, por lo que perfectamente puedes volver a usar ...
  • 57.8k
4 votos
Aceptado

base64 en google imagenes, web scraping

En google imágenes la URL de los thumbnails está en data-src, no en src. Si modificas tu código para que bs4 seleccione los elementos que tengan ese atributo y luego lo asignas a la variable te ...
3 votos

Extraer una URL de <script> con BeautifulSoup y python

Se me ocurrió una idea, pero me he encontrado con algunos problemas técnicos (quizás consecuencia de modificaciones que hayas hecho en el código) para ponerla en práctica. Al final tengo una solución ...
  • 57.8k
3 votos
Aceptado

Obtener todos los enlaces de una div específica

No estás usando BeautifulSoup de la forma correcta. Aparentemente te limitas a usar una expresión regular para sacar todos los href que haya en el texto de la página, pero para eso no necesitarías ...
  • 57.8k
3 votos
Aceptado

Problemas importando librerias en Python

Justamente eso, puedes ver que la versión que tienes en BeautifulSoup, está en 3.2.1. Intenta instalando: $ pip install BeautifulSoup4 Si estás en python3 y tienes la versión 2 ya instalada, ...
3 votos
Aceptado

soup.find_all me devuelve array vacio []

El problema lo tienes en que el servidor está bloqueando las peticiones del User-Agent de requests, si miras la respuesta que estás recibiendo, es un 403 forbidden. page = requests.get(url) soup = ...
3 votos
Aceptado

¿Como puede obtener la información de un class div, cuando hay más dos con ese mismo nombre?

El problema que tienes no es que haya varios div con el mismo nombre. Eso no es mayor problema, pues si en vez de find() usas find_all() obtendrás una lista con cada uno de esos div. El problema es ...
  • 57.8k
2 votos
Aceptado

Problema de codificación con BeautifulSoup ¿Cómo decodificar esto? -> (b'\xd1\x8e\xd1\x82\xd1\x83\xd0\xb1)

Posible reconstrucción de lo que ocurre: La página que estas raspando contiene texto Unicode, en diferentes alfabetos y lenguajes (ya que en concreto la cadena que te ha dado problemas y que muestras ...
  • 57.8k
2 votos
Aceptado

Problema con resultados de un Scraping en python con beautifulsoup

Si quieres tener una lista con los elementos de la tabla puedes hacer algo como esto: Seguramente publiquen una respuesta mejor, pero humildemente, yo lo haría asi. Obtener la tabla a traves de su ...
  • 1,923
2 votos
Aceptado

¿Cómo gestionar las etiquetas <br> cuando se quiere extraer texto de un código html con BeautifulSoup?

Esto se complica por momentos, sigo sin poder reproducir tu problema... :(. Intentando simularlo con lo que explicas he llegado al siguiente código: from bs4 import BeautifulSoup import requests ...
  • 56.2k
2 votos
Aceptado

Extraer links https o http BeatifulSoup

El método soup.findAll tambien acepta un parámetro attrs en el que se le puede pasar un diccionario con los atributos de los nodo HTML que buscamos. A su vez cada atributo puede ser una expresión ...
  • 78
2 votos
Aceptado

¿Cómo se scrap dentro de una tabla html?

Asumo que buscas 29,873,600 porque esta resaltado en la imagen, tienes que recorrer la estructura desde el nodo en el que estés soup.find('span', string='Total Revenue').parent.parent.next_sibling....
2 votos

BeautifulSoup Condicional Python, Web Scraping

Recuerda que Python distingue las mayúsculas de las minúsculas, entonces por ejemplo area, Area, AREA, aRea, son 4 identificadores distintos. También comentar que, el último ejemplo, aRea no es ...
2 votos
Aceptado

BeautifulSoup Condicional Python, Web Scraping

Lo mismo que Enrique, seria mejor usar un: if("sub-espanol" in btnSig.get("href").split('/')[4]):
2 votos
Aceptado

¿Hay una manera más fácil de scrapear estos enlaces?

Si he entendido correctamente, la siguiente expresión generadora obtiene el mismo resultado que la tuya, y es mucho más simple: li_s = [ a["href"] for elem in soup.find_all(class_ = "...
  • 57.8k
2 votos
Aceptado

Imprimir contenido etiquetas HTML

Cuando se trata de extraer una tabla hay una forma más sencilla usando pandas. Es más eficiente y menos código. import requests import pandas as pd #Llamas a pandas sitio="www.cloudflare.com&...
2 votos

Como obtener el link del primer resultado de una búsqueda en Youtube con Beautiful Soap u otra libreria

Se que quieres que todo se haga por BS4, pero con Selenium te sale en 3 líneas de código además puedes usar BS4 junto con Selenium, el siguiente scrpit te funciona solo para el primer resultado de la ...
2 votos

base64 en google imagenes, web scraping

La respuesta que te ha dado César es la que te permitirá acceder a las imágenes que deseas. Esta respuesta mía es sólo una mera curiosidad. ¿Qué es lo que viene en el campo src? Se trata de una cadena ...
  • 57.8k
2 votos
Aceptado

Como crear un diccionario a partir de una serie de elementos de selenium/beautifulsoup?

Si extraes por ejemplo todos los elementos de clase search_result_wrapper con una línea como esta: main = soup.find_all("div",class_="search_result_wrapper") El resultado que ...
  • 57.8k
2 votos
Aceptado

Web scraping, separar texto de una columna

Despues de ... con = con.drop_duplicates() Esto debe funcionarte, ten en cuenta que el resultado final tambien contiene la actual columna 'magnitud', en el caso que no la quieras mantener solo tienes ...
2 votos
Aceptado

Scrap con BeautifulSoup pero no obtengo toda la info, los selectores son multiclase de un retail

Me he topado con varias páginas como Saga Falabella al hacer scraping y hay algunas páginas que no te la data, la muestran dinámicamente con JS y es necesario analizar las solicitudes internas (no ...
2 votos
Aceptado

No puedo Extraer Datos ocultos de una web con BeautifulSoup y python

Ten en cuenta que modulo requests no renderiza Javascript, asi que necesitas una alternativa. La forma más facil de renderizar javascript es usando un navegador. Puedes usar selenium u otro, pero el ...
  • 863
1 voto

Extraer links https o http BeatifulSoup

Al traer todos los Anchor (<a>) , vas a traer desde la barra de navegación de la parte superior, hasta los que estan dentro de la tabla <tbody>. Lo que puedes hacer es agregar algunas ...
  • 1,923
1 voto

Recuperar los links de una página con botón ver más

Bueno voy a intentar ayudarte, para empezar, no se hasta donde se llega haciendo scroll en esa página. Así que a modo de ejemplo, hice un simple scroll 5 veces cada 1seg. Puedes usar Selenium para ...
  • 1,923
1 voto

Obtener todos los enlaces de una div específica

Buenas yo alguna lo hice con la librería requests_html Lo primero que harias seria instalarte la libreria con el siguiente comando: pip install requests_html Tomando el ejemplo que diste yo lo ...
1 voto
Aceptado

Extraer Descripción de cuenta de twitter (no los twitter ni los nº de twitter) Scrapeando

Ya tengo la solución, he tenido votos negativos por poca investigación, pero he logrado la respuesta, así que no veo puntuación negativa justificada. import requests from bs4 import BeautifulSoup ...

Only top scored, non community-wiki answers of a minimum length are eligible