Preguntas con la etiqueta [beautifulsoup]
Beautiful Soup es una librería de Python para extraer datos de archivos HTML y XML.
125
preguntas
1
voto
0
respuestas
39
vistas
No descargo la totalidad de información de precios de una web
estoy empezando con el web scrapping y quiero obtener precios de una web que tiene varias páginas, tengo el siguiente código:
from urllib.request import urlopen
from bs4 import BeautifulSoup as soup
...
1
voto
0
respuestas
25
vistas
¿Cómo puedo entrar al mercado de Steam con mi cuenta usando BeautifulSoup?
Hace un par de meses desarrolle un código usando BeautifulSoup que me permitía entrar al mercado de Steam con mi cuenta, a través del uso de cookies. El problema es que hoy mi código ya no reconoce la ...
0
votos
0
respuestas
47
vistas
Extraer texto entre etiqueta <br>
El problema al que me enfrento es que usualmente extraigo texto con getText(), sin embargo, en esta ocasión el texto se encuentra entre etiquetas <br> y no sé cómo extraerlo.
Con esa línea de ...
0
votos
0
respuestas
19
vistas
Beautifulsoup cerrar conexión
Estoy tratando de conectarme con Tiktok a través de Beautifulsoup pero la conexión se queda abierta continuamente y no consigo descargar la web.
He probado a añadir un timeout, que evidentemente ...
0
votos
1
respuesta
33
vistas
Error al parsear respuesta html
estoy haciendo una consulta a esta página web:
https://es.soccerway.com/a/block_competitions_index_club_domestic?block_id=page_competitions_1_block_competitions_index_club_domestic_4&...
0
votos
1
respuesta
24
vistas
como obtener un link de una tabla raspada con beautifulsoup que coincida con un DF filtrado
Estoy realizando un raspado a una tabla. Esta tabla tiene varias filas las cuales contienen varias etiquetas estas etiquetas las obtengo con rows2 = rows[1].find('a') dentro de esta etiqueta capturo ...
0
votos
0
respuestas
43
vistas
ValueError: All arrays must be of the same length
Estoy tratando de reutilizar mi código y creé una función que me hace un proceso de scrapper para no volver a realizar el código le pasé como parámetro la url a la función, el punto es que funciona ya ...
1
voto
0
respuestas
50
vistas
¿Cómo puedo capturar las href con BeautifulSoup?
estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href.
import requests
import bs4
import ...
0
votos
1
respuesta
69
vistas
web scraping sismos, envío de mensajes bot telegram si se cumple condición, beautifulsoup
alguien me puede ayudar con mi código, es un bot de telegram el cuál envía mensajes de de un scraping a una web de sismos, me muestra el último sismo registrado cada 5 minutos, lo que necesito es que ...
0
votos
1
respuesta
29
vistas
en la siguiente función requiero que limite el número de resultados devueltos
import requests
from bs4 import BeautifulSoup
import pandas as pd
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 ...
0
votos
0
respuestas
35
vistas
filtrar datos webscraping
estoy realizando un raspado a una web de sismos. este raspado que extrae el primer datos de la tabla, lo que necesito es que el primer dato de la tabla solo se muestre si esta dentro de una latitud y ...
0
votos
0
respuestas
25
vistas
Quisiera poner el .text del print directamente en la búsqueda de las etiquetas
Hola quisiera saber si podría hacer el .text directamente en la variable sin tener que hacerlo en el print, como por ejemplo
price = child_soup.find('h3',class_ = 'font-medium text-midnight text-3xl ...
0
votos
0
respuestas
22
vistas
Cuando abro una URL no coge el contenido de más de 5 <div> anidados, como puedo hacerlo para Web Scraping con BeautifulSoup?
Quiero abrir una URL para hacer Web Scraping de esta con BeautifulSoup. He intentedo abrir la URL con "urllib" y con "requests" pero no he podido abrirla entrar con ninguna de las ...
0
votos
1
respuesta
60
vistas
¿Como extraigo información si la web tiene scrolling infinito?
quería extraer las url de los artículos que figuran en este apartado de la web "una sección" pero estas secciones tiene un scrolling infinito, que los artículos no se cargan a menos que ...
0
votos
1
respuesta
25
vistas
¿Cómo se obtiene el texto de un enlace desde un div identificable por su nombre de clase?
Quiero anadir la informacion de cuantos Quotes de un articulo habia en el mio scraper que recupera los articulos que se recuperan a partir de una consulta en Google Scholar. Por ejemplo "nlp ...
0
votos
1
respuesta
52
vistas
Como extraer datos de un grafico dinamico
He estado interesado en data science y con esto de las criptos. Se me hizo interesante tratar de extraer datos y de coinmarketcap. Sin embargo no logro encontrar en que parte de la pagina se almacenan ...
0
votos
1
respuesta
62
vistas
¿Como Extraer Los Datos Que Porta Un "Label" Con Python?
Quiero extraer los talles de un producto y estos mismos están en un "label" intente varias formas para extraer la información del talle pero no lo consigo.
import requests
from bs4 import ...
0
votos
1
respuesta
14
vistas
Estoy intentado programar un web scraper y no estoy obteniendo el Output que busco
Intenté programar un web scraper para que buscara en una página de publicaciones científicas y me devolviera los títulos relacionados con un tema en específico. Mi código es el siguiente:
from bs4 ...
0
votos
1
respuesta
59
vistas
WebScrapping con Python
Estoy haciendo un ejercicio que consiste en hacer un programa de web scrapping con Python. Utilizo las librerias requests y BeautifulSoup. El caso es que para llegar hasta la página donde estan los ...
0
votos
1
respuesta
17
vistas
Web Scraping - Does not show results
Saben porque me trae 0 data cuando llamo de la siguiente forma
import requests
from bs4 import BeautifulSoup
baseurl = 'https://inkafarma.pe/'
headers = {
'User-Agent' : 'Mozilla/5.0 (Windows NT ...
0
votos
1
respuesta
35
vistas
No puedo pillar las datos del formulario completo con beautiful soup
Quiero pillar los nombre y los precios de todos los videojuegos que estan en la busqueda. Al realizar el .get y probar el print en la variable lista me reconoce todos los datos pero luego al iterar, ...
0
votos
1
respuesta
98
vistas
Como borrar líneas en blanco -BeautifulSoup
Tengo el siguiente código que me permite leer una página web que yo elija, el problema son los espacios en blanco que hay, he intentado eliminarlos con strip() o con alguna expresión regular pero no ...
0
votos
0
respuestas
16
vistas
¿Cuál es la forma correcta de obtener información html de una pestaña de mi navegador predeterminado que se abrió con webbrowser y bs4?
He intentado averiguar cómo puedo obtener información html (como etiquetas <h1>) desde una nueva pestaña en mi navegador predeterminado que se abrió con el siguiente programa:
import tkinter as ...
1
voto
1
respuesta
59
vistas
error webscraping supermercado de alimentos chile
el principal problema es que no me esta dando el valor que le estoy pidiendo que es el "titulo" y "precio" que busco para lograr seguir un proyecto, porfavor ayuda
codigo base :
...
0
votos
0
respuestas
35
vistas
no se pudo convertir string a float
llevo horas intentando pasar el scraping de la pagina web a float y siempre me sale el mismo error
probe poner float(tasa), int(tasa), int(float(tasa)) y todo salia el mismo error
from bs4 import ...
0
votos
1
respuesta
114
vistas
¿Cómo puedo hacer una request HTTP a una URL que utiliza Cloudflare?
he probado de todas las maneras posibles a obtener una respuesta de la siguiente url: https://www.wildfooduk.com/mushroom-guide/?mushroom_type=edible
import requests
headers = {
'User-Agent': '...
0
votos
0
respuestas
21
vistas
eliminar columnas duplicadas al utilizar metodo split
tengo un script el cual realiza un scraping web y me genera un csv con los datos obtenidos.
De los datos obtenidos tengo una columna llamada Magnitud la cual contiene letras y numeros. a esta columna ...
0
votos
0
respuestas
53
vistas
Problema al hacer Web Scraping a página que no tiene el mismo contenido HTML en el código fuente
Estoy practicando Web Scraping con requests (para hacer la petición) y BeautifulSoup para hacer el parseo, mis pruebas funcionaban perfectamente hasta que me encontré con una página web que se podría ...
-1
votos
1
respuesta
78
vistas
Web scraping, separar texto de una columna
estoy realizando web scraping una una pagina de sismos, en la tabla de sismos aparecen los datos que necesito pero especificamente el dato de "magnitud" viene con numeros y texto, lo que ...
0
votos
1
respuesta
38
vistas
beautifulsoup raspar imagenes dentro de src
Necesito raspar una imagen, pero estas no se encuentran en la pagina principal, como seria el procedimiento para poder realizarlo?
Les dejo la esctructura html, lo que necesito raspas esta dentro de &...
1
voto
1
respuesta
48
vistas
Python Web Scraping Error
Buenas dias tardes o noches, estoy intentando obtener desde la pagina de transfermarket.mx los jugadores mas valiosos de la Liga Mexicana de Futbol con su nombre y respectivo valor pero al momento de ...
0
votos
0
respuestas
644
vistas
OSError: [Errno 22] Invalid argument - Se corrompe el tercer intento
Estoy armando un código que descarga de forma automática una serie de archivos (todos xls de la misma fuente) y reescribe los preexistentes que están ubicados en un drive.
Estoy usando este código:
...
0
votos
0
respuestas
27
vistas
Scrapeo de imágenes en Google
He hecho una búsqueda de imágenes en google.
Yo quiero extraer las urls que están en el atributo src de los elementos img.
from requests import get
from bs4 import BeautifulSoup
a = get("https://...
0
votos
0
respuestas
55
vistas
Como hacer proxy con python3?
Paso a comentar mi situacion. Hice 4 scripts para raspar algunas paginas web con selenium. El siguiente paso era contratar un vps y hacer que esos 4 scripts corran en automatico para que realizen las ...
1
voto
2
respuestas
70
vistas
Beautiful Soup y Selenium solo muestran 4 primeros resultados
Estoy intentando hacer web-scrapping a fotocasa. El problema que tengo es que solo me scrapea los 4 primeros datos, cabe decir que justo cada 4 anuncios de casa ellos ponen una publicidad, tiene eso ...
1
voto
2
respuestas
109
vistas
BeautifulSoup No me muestra info al hacer scraping
Estoy trabajando en un ejercicio de Scrapping con Python, pero tengo el problema de que no me muestra nada al hacer find_all (aclaro que he probado con casi todas las clases e id del sitio) en cambio ...
0
votos
1
respuesta
82
vistas
Selenium Datepicker
Estoy practicando el web scraping con Selenium y BeautifulSoup y me he encontrado una página con un datepicker que no soy capaz de resolverlo.
La idea es muy simple, seleccionar el día que yo quiera y ...
0
votos
0
respuestas
26
vistas
Scrap para enlaces internos con BeautifulSoup
Planteando una clase para obtener todos los enlaces internos de una página, ¿qué regla habría que utilizar para distinguir los enlaces internos respecto a los externos como puede ser enlaces a redes ...
0
votos
1
respuesta
262
vistas
tkinter mostrar datos en pantalla y obtener datos de un Entry
Hola esta es mi primera pregunta resulta que puedo hacer que este código me imprima el Hash md5 por consola pero no lo puedo hacer gráficamente quisiera que por favor Alguien me arreglar el código de ...
0
votos
0
respuestas
21
vistas
Extracción de un solo enlace
me gustaría extraer el enlace del encabezado.
en la funcion parse, vereis una variable "enlace" que está vacia.
Quiero extraer el mismo enlace que es el h2.
Supongo que en vez de extraer el ...
0
votos
1
respuesta
114
vistas
Descargar archivos/imágenes de una pagina con Python3
Me gustaría descargar una serie de imágenes de una pagina en particular, y quiero extraer todas las imágenes de logotipos que se muestran. Con lo que llevo hecho he logrado obtener los enlaces de cada ...
1
voto
1
respuesta
69
vistas
Como crear un diccionario a partir de una serie de elementos de selenium/beautifulsoup?
Intento scrapear la siguiente web : https://axie.zone/finder?search=hp:61, como se puede apreciar no necesito navegar ("dando clicks") para llegar al apartado que busco el cual se puede ver ...
0
votos
1
respuesta
79
vistas
como extraer texto en este caso
Estoy intentando extraer unos caracteres de una web con python usando request.
Me descargo la web haciendo lo siguiente:
r = s.get("url")
Al resultado obtenido lo guardo una variable
...
0
votos
1
respuesta
24
vistas
BeautifulSoup me hace el conteo 2 veces! porque?
Estoy tratando de crear una lista con todos los numeros (enteros) que salen en la url, pero me genera una lista con 2 listas dentro y los numeros, es decir hace el proceso 2 veces... porque pasa esto?
...
0
votos
1
respuesta
156
vistas
¿Como puede obtener la información de un class div, cuando hay más dos con ese mismo nombre?
Quiero obtener información de un sitio web (guardado en un class div) y hay muchos class div con ese nombre
Por el momento este es el codigo
from bs4 import BeautifulSoup
import requests
r = requests....
0
votos
1
respuesta
67
vistas
Buenas practicas para función def en python
Estoy haciendo un script que scrapea con bs4 cierta plataforma, la data generalmente viene con caracteres especiales/raros lo cual me obligo a hace runa funcion replace:
def replace(self, string):
...
1
voto
2
respuestas
76
vistas
python error al convertir en float
Que tal retomando un proyecto en python utilizando selenium, y BeautifulSoup una ves hago correr me sale el mensaje "could not convert string to float: ''", cuando imprimo lat y lng, pero ...
0
votos
1
respuesta
59
vistas
¿Como puedo hacer scrapping de una página dinámica?
Mi problema es que yo quiero sacar los valores de la página de clicars, pero esta página es dinámica en cuanto a que tiene un scroll infinito. Por lo que solo puedo extraer los primeros datos que si ...
1
voto
0
respuestas
21
vistas
Problema obteniendo precios, request y beautifulsoup
Estoy teniendo algunos problemas para obtener la información de los precios de la página de Amazon en el mercado estadounidense, en otros mercados no he tenido ningún problema, pero aquí parece que no ...
1
voto
0
respuestas
52
vistas
Problema al hacer scraping con Python a una página dinámica PHP
Al hacer un request.get a una pagina.php para consumir una tabla y luego extraerla con BeautifulSoup ésta llega sin contenido.
Estoy utilizando las siguientes librerias: urlopen, requests, ...