Preguntas con la etiqueta [beautifulsoup]
Beautiful Soup es una librería de Python para extraer datos de archivos HTML y XML.
145
preguntas
3
votos
1
respuesta
18
vistas
Extraer valores de una lista con BeautifulSoup
Estoy usando BeautifulSoup para extraer valores de una lista desordenada pero no soy capaz. Estos son los pasos que hago:
1- Hago un findall a la web buscando los elementos ul con clase "cols&...
0
votos
1
respuesta
26
vistas
el codigo no me crea el excel
import requests
import xlsxwriter
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys ...
0
votos
0
respuestas
16
vistas
Error al copiar una pagina web (web scraping), no obtengo las imagenes
La pagina que estoy intentando hacer web scraping es www.classcentral.com/ con profundidad 1, me genera estos problemas:
No obtengo las imagenes y por alguna razon salen pixeladas (como si no ...
0
votos
0
respuestas
35
vistas
No logro crear el código correcto para contar
<span aria-hidden="true" class="b6dc9a9e69 adc357e4f1 fe621d6382">
<svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24">
<path d="M24 ...
2
votos
1
respuesta
495
vistas
Error al instalar BeautifoulSoup mediante pip
Estoy tratando de instalar la librería BeautifulSoup con pip para Python 3.6:
$ pip install beautifulSoup
Pero me tira un error:
(myvenv) eduardorr21@eduardoreyes21 ~/Documents/WebScraping $ pip
...
0
votos
0
respuestas
22
vistas
No me deja usar web scraping para una pagina web/Does not let me use web scraping for a website
from bs4 import BeautifulSoup
import requests
import csv
from datetime import datetime
import pandas as pd
from bs4 import BeautifulSoup
from lxml import html
page = requests.get('https://...
1
voto
1
respuesta
82
vistas
No puedo hacer un Web Scraping en una página web
He estado intentando hacer un web scraping en este sitio web https://www.segundamano.mx/anuncios/ciudad-de-mexico/alvaro-obregon/venta-inmuebles/casas, usé una función empleando Bs4 como se muestra a ...
0
votos
0
respuestas
29
vistas
¿Cómo puedo obtener números de teléfono de una página de Google Maps?
Quiero raspar el número de teléfono de los resultados de google maps:
https://www.google.com/maps/place/EDF+Cap+Amp%C3%A8re/@48.9204621,2.3433823,17z/data=!4m6!3m5!1s0x47e66ec170a20129:...
0
votos
0
respuestas
24
vistas
¿Como actualizar automáticamente con BeautifulSoup?
¿Cómo logro que se me actualice el valor de la UF (Unidad de Fomento) diaria automáticamente?
from bs4 import BeautifulSoup
import requests
from datetime import datetime
from datetime import date
url ...
0
votos
0
respuestas
28
vistas
Como Obtener Mas De Un Resultado Con WebScrapping Python
Pues estoy intentando conseguir todos los resultados con el web scrapping, pero, al parecer solo me obtiene el primer dato, es decir, estoy intentando conseguir una lista de todas las casas y solo me ...
0
votos
0
respuestas
41
vistas
¿Cómo obtener el hipervínculo deseado en requests?
Estoy intentando obtener el hipervínculo de imágenes específicas de BeautifulSoup y requests, con el siguiente código:
import requests
from bs4 import BeautifulSoup
pg=requests.post("https://...
1
voto
1
respuesta
109
vistas
No puedo Extraer Datos ocultos de una web con BeautifulSoup y python
estoy intentando entender el código de la página https://foresignal.com/es/ y al momento de extraer los datos del HTML, hay datos que no me aparecen en el HTML pero cuando uso el navegador si, al ...
0
votos
0
respuestas
35
vistas
Extraer datos con BeautifulSoup de una web que se carga al desplazar
Hay webs como https://es.bidoo.com/closed_auctions.php que van cargando los datos conforme vas bajando en la web.
El problema está en que cuando intento extraer los datos con soup.find_all('div', ...
0
votos
0
respuestas
47
vistas
Web Scraping con Python
Estoy tratando de hacer un scraping de tablas de una pagina y despues de la quinta fila empieza a arrojar NaN, lo hice en Pandas porque despues quiero usar esa informacion en excel, y en Beautiful ...
0
votos
0
respuestas
44
vistas
Web scrapping con Bs4 -> TypeError: 'NoneType' object is not subscriptable
Estoy desarrollando un proyecto de web scraping con BeautifulSoup y Requests en Django, extrayendo datos de páginas web que me mostrarán ciertos productos, su imagen, precio, etc. Al momento que ...
0
votos
0
respuestas
26
vistas
Hago un scrape a IMDb y no consigo sacar la información que quiero
quiero hacer, una api para aprender un poco sobre beautifulsoup4 y flask, que trata de directamente hacer un scraping de la pagina IMDb, como un ejemplo, y convertirlo en un resultado JSON para poder ...
0
votos
0
respuestas
39
vistas
Como obtener el elemento seleccionado de un combobox usando request, beautifulsoup y python?
Estoy tratando de hacerle scrapping a una web, pude obtener los datos de los textbox pero tengo problema para sacar la informacion de los menus desplegables.
Este es el codigo del menu desplegable:
&...
0
votos
1
respuesta
64
vistas
agregar datos a un registro de una lista de python
tengo una lista de con los partidos de futbol que se van a disputar los próximos días
Me gustaría añadir una columna más con datos estadísticos según la liga a la que pertenece cada partido, pero ...
0
votos
1
respuesta
38
vistas
no me funciona el scraping
No se porque no me funcionan el scraping de esta pagina, use el método del xpath donde al inspeccionar la pagina me salen los datos que necesito en forma correcta pero al ejecutarlo en python no se ...
0
votos
0
respuestas
26
vistas
¿Como puedo obtener la información de un div data-XXXX, para encontrar src?
En este caso, quiero obtener la información dentro de un div, el problema es que la información que quiero es una imagen y esta dentro de un div.
Creo que la manera de solucionar es obtener hay más de ...
0
votos
0
respuestas
41
vistas
Scrapear web con info de varios años y crear un archivo csv por cada año
He scrapeado información con los resultados de las Olimpiadas de Ajedrez de 2016, usando el siguiente código:
import requests
from bs4 import BeautifulSoup
import pandas as pd
#Imports the HTML into ...
1
voto
1
respuesta
162
vistas
Webscraping: descargar pdf de una web con paginación: no se descargan los pdf de todas las páginas
Soy nuevo en webscraping. Estoy tratando de descargar pdfs de [esta página][1], que tiene paginación (del 1 al 7). El código que he hecho solo descarga pdf de las dos primeras páginas y no encuentro ...
0
votos
0
respuestas
20
vistas
No consigo obtener datos Bs4 Python
estoy intentando obtener los siguientes datos:
Titulo
Dirección
URL
Pero por alguna razón o me salen duplicidades o nada de lo que tiene que ver con lo que busco ( o directamente nada (None)).
...
1
voto
1
respuesta
160
vistas
Scrap con BeautifulSoup pero no obtengo toda la info, los selectores son multiclase de un retail
Tengo que hacer un scrapin y estoy usando Jupyter, no puedo usar otra herramienta. NEcesito extraer datos como la marca, nombre, precios y en que posición se encuentra cada producto en la página. Los ...
0
votos
0
respuestas
34
vistas
Scrapear una lista sin etiqueta de wikipedia con BeautifulSoup
url = 'https://es.wikipedia.org/wiki/10_de_julio'
pagina_nac = requests.get(url, headers=header)
nacimientos_ = BeautifulSoup(pagina_nac.text, 'html.parser')
No puedo acceder al contenedor de los ...
1
voto
0
respuestas
44
vistas
No descargo la totalidad de información de precios de una web
estoy empezando con el web scrapping y quiero obtener precios de una web que tiene varias páginas, tengo el siguiente código:
from urllib.request import urlopen
from bs4 import BeautifulSoup as soup
...
1
voto
0
respuestas
29
vistas
¿Cómo puedo entrar al mercado de Steam con mi cuenta usando BeautifulSoup?
Hace un par de meses desarrolle un código usando BeautifulSoup que me permitía entrar al mercado de Steam con mi cuenta, a través del uso de cookies. El problema es que hoy mi código ya no reconoce la ...
0
votos
0
respuestas
88
vistas
Extraer texto entre etiqueta <br>
El problema al que me enfrento es que usualmente extraigo texto con getText(), sin embargo, en esta ocasión el texto se encuentra entre etiquetas <br> y no sé cómo extraerlo.
Con esa línea de ...
0
votos
1
respuesta
38
vistas
Error al parsear respuesta html
estoy haciendo una consulta a esta página web:
https://es.soccerway.com/a/block_competitions_index_club_domestic?block_id=page_competitions_1_block_competitions_index_club_domestic_4&...
0
votos
0
respuestas
38
vistas
Beautifulsoup cerrar conexión
Estoy tratando de conectarme con Tiktok a través de Beautifulsoup pero la conexión se queda abierta continuamente y no consigo descargar la web.
He probado a añadir un timeout, que evidentemente ...
0
votos
1
respuesta
45
vistas
como obtener un link de una tabla raspada con beautifulsoup que coincida con un DF filtrado
Estoy realizando un raspado a una tabla. Esta tabla tiene varias filas las cuales contienen varias etiquetas estas etiquetas las obtengo con rows2 = rows[1].find('a') dentro de esta etiqueta capturo ...
0
votos
1
respuesta
180
vistas
web scraping sismos, envío de mensajes bot telegram si se cumple condición, beautifulsoup
alguien me puede ayudar con mi código, es un bot de telegram el cuál envía mensajes de de un scraping a una web de sismos, me muestra el último sismo registrado cada 5 minutos, lo que necesito es que ...
0
votos
0
respuestas
98
vistas
ValueError: All arrays must be of the same length
Estoy tratando de reutilizar mi código y creé una función que me hace un proceso de scrapper para no volver a realizar el código le pasé como parámetro la url a la función, el punto es que funciona ya ...
1
voto
0
respuestas
211
vistas
¿Cómo puedo capturar las href con BeautifulSoup?
estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href.
import requests
import bs4
import ...
0
votos
1
respuesta
54
vistas
en la siguiente función requiero que limite el número de resultados devueltos
import requests
from bs4 import BeautifulSoup
import pandas as pd
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 ...
0
votos
0
respuestas
83
vistas
filtrar datos webscraping
estoy realizando un raspado a una web de sismos. este raspado que extrae el primer datos de la tabla, lo que necesito es que el primer dato de la tabla solo se muestre si esta dentro de una latitud y ...
0
votos
0
respuestas
27
vistas
Quisiera poner el .text del print directamente en la búsqueda de las etiquetas
Hola quisiera saber si podría hacer el .text directamente en la variable sin tener que hacerlo en el print, como por ejemplo
price = child_soup.find('h3',class_ = 'font-medium text-midnight text-3xl ...
0
votos
0
respuestas
25
vistas
Cuando abro una URL no coge el contenido de más de 5 <div> anidados, como puedo hacerlo para Web Scraping con BeautifulSoup?
Quiero abrir una URL para hacer Web Scraping de esta con BeautifulSoup. He intentedo abrir la URL con "urllib" y con "requests" pero no he podido abrirla entrar con ninguna de las ...
0
votos
1
respuesta
87
vistas
¿Como extraigo información si la web tiene scrolling infinito?
quería extraer las url de los artículos que figuran en este apartado de la web "una sección" pero estas secciones tiene un scrolling infinito, que los artículos no se cargan a menos que ...
0
votos
1
respuesta
45
vistas
¿Cómo se obtiene el texto de un enlace desde un div identificable por su nombre de clase?
Quiero anadir la informacion de cuantos Quotes de un articulo habia en el mio scraper que recupera los articulos que se recuperan a partir de una consulta en Google Scholar. Por ejemplo "nlp ...
0
votos
1
respuesta
156
vistas
Como extraer datos de un grafico dinamico
He estado interesado en data science y con esto de las criptos. Se me hizo interesante tratar de extraer datos y de coinmarketcap. Sin embargo no logro encontrar en que parte de la pagina se almacenan ...
0
votos
1
respuesta
269
vistas
¿Como Extraer Los Datos Que Porta Un "Label" Con Python?
Quiero extraer los talles de un producto y estos mismos están en un "label" intente varias formas para extraer la información del talle pero no lo consigo.
import requests
from bs4 import ...
0
votos
1
respuesta
16
vistas
Estoy intentado programar un web scraper y no estoy obteniendo el Output que busco
Intenté programar un web scraper para que buscara en una página de publicaciones científicas y me devolviera los títulos relacionados con un tema en específico. Mi código es el siguiente:
from bs4 ...
0
votos
1
respuesta
91
vistas
WebScrapping con Python
Estoy haciendo un ejercicio que consiste en hacer un programa de web scrapping con Python. Utilizo las librerias requests y BeautifulSoup. El caso es que para llegar hasta la página donde estan los ...
0
votos
1
respuesta
30
vistas
Web Scraping - Does not show results
Saben porque me trae 0 data cuando llamo de la siguiente forma
import requests
from bs4 import BeautifulSoup
baseurl = 'https://inkafarma.pe/'
headers = {
'User-Agent' : 'Mozilla/5.0 (Windows NT ...
1
voto
1
respuesta
99
vistas
Web Scraping en python
Estoy aprendiendo a utilizar el modulo bs4 de python para escrapear la web. Lo que estoy intentando hacer es obtener el puntaje de un videojuego en metacritic y buscando por internet y preguntas ...
1
voto
2
respuestas
153
vistas
BeautifulSoup Condicional Python, Web Scraping
Buen dia, Espero me puedan ayudar con este pequeño codigo, Estoy intentando condicionar BeautifulSoup para que cuando lea las palabras "Sub-Español", Me imprima "Error", y si no me lee las palabras "...
1
voto
1
respuesta
1k
vistas
¿Cómo obtener todos los enlaces con este código de Python scraping?
Tengo el siguiente codigo:
import urllib.request
datos = urllib.request.urlopen('http://blogdehermogenes.blogspot.com/').read().decode()
from bs4 import BeautifulSoup
soup = BeautifulSoup(datos)
...
0
votos
1
respuesta
75
vistas
No puedo pillar las datos del formulario completo con beautiful soup
Quiero pillar los nombre y los precios de todos los videojuegos que estan en la busqueda. Al realizar el .get y probar el print en la variable lista me reconoce todos los datos pero luego al iterar, ...
0
votos
1
respuesta
434
vistas
Como borrar líneas en blanco -BeautifulSoup
Tengo el siguiente código que me permite leer una página web que yo elija, el problema son los espacios en blanco que hay, he intentado eliminarlos con strip() o con alguna expresión regular pero no ...