Preguntas con la etiqueta [beautifulsoup]
Beautiful Soup es una librería de Python para extraer datos de archivos HTML y XML.
141
preguntas
0
votos
1
respuesta
26
vistas
Hierarchical Structured URLs Web Scraping BeautifulSoup and recursive functions
Muy buenas,
Estoy tratando de obtener una Clasificación Jerárquica para la taxonomía de los hongos utilizando este sitio web https://speciesfungorum.org/Names/fundic.asp?RecordID=Fungi&Type=K a ...
0
votos
0
respuestas
34
vistas
Python Web scraping con Beautifulsoup e request_html no muestra todos los datos
Buen día, estoy tratando de extraer datos de este sitio web: https://bodysolid-europe.com/collections/all mediante web scraping con las librerías BeautifulSoup, requests y requests html, adjunto el ...
0
votos
0
respuestas
41
vistas
¿Cómo puedo extraer la línea de debajo de una class con Beautifulsoup? [duplicada]
Me gustaria extraer la linea de debajo de la clase "font_bold"
#!/usr/bin/python
from bs4 import BeautifulSoup
import lxml
import requests
import jedi
website = "https://www....
1
voto
0
respuestas
174
vistas
¿Porqué se redirecciona en mi request del BeautifulSoup?
desde hace tiempo saco info de loterias y apuestas, con BeautifulSoup, pero desde ayer, me marca este mensaje:
<html><head>
<title>Access Denied</title>
</head><body&...
0
votos
0
respuestas
45
vistas
Problema Web Scrapping (No aparecen todos los DIV)
Estoy tratando de hacer scrapping a esta pagina:
https://tracking-unificado.blue.cl/, la idea es colocar un Numero de Transporte, y obtener su tracking, pero no me aparecen todos los "divs" ...
1
voto
1
respuesta
196
vistas
web scrapping ¿ como buscar lista de precios en código de pagina?
¿Cómo buscar lista de precios en código de página?
Este es el código que estoy probando, si alguien sabe como solucionarlo se lo agradecería:
import requests
from bs4 import BeautifulSoup
# URL ...
0
votos
0
respuestas
53
vistas
Problemas con realizar un Web-Scrapping "AttributeError: 'NoneType'"
Tengo el siguiente problema al momento de realizar un webscraping a la pagina de shein.
En general el problema es de atributos y en relación con - AttributeError: 'NoneType' object has no attribute '...
3
votos
1
respuesta
78
vistas
Extraer valores de una lista con BeautifulSoup
Estoy usando BeautifulSoup para extraer valores de una lista desordenada pero no soy capaz. Estos son los pasos que hago:
1- Hago un findall a la web buscando los elementos ul con clase "cols&...
0
votos
1
respuesta
60
vistas
el codigo no me crea el excel
import requests
import xlsxwriter
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys ...
0
votos
0
respuestas
72
vistas
¿Cómo puedo obtener números de teléfono de una página de Google Maps?
Quiero raspar el número de teléfono de los resultados de google maps:
https://www.google.com/maps/place/EDF+Cap+Amp%C3%A8re/@48.9204621,2.3433823,17z/data=!4m6!3m5!1s0x47e66ec170a20129:...
0
votos
0
respuestas
30
vistas
Como Obtener Mas De Un Resultado Con WebScrapping Python
Pues estoy intentando conseguir todos los resultados con el web scrapping, pero, al parecer solo me obtiene el primer dato, es decir, estoy intentando conseguir una lista de todas las casas y solo me ...
0
votos
0
respuestas
60
vistas
¿Cómo obtener el hipervínculo deseado en requests?
Estoy intentando obtener el hipervínculo de imágenes específicas de BeautifulSoup y requests, con el siguiente código:
import requests
from bs4 import BeautifulSoup
pg=requests.post("https://...
2
votos
1
respuesta
346
vistas
No puedo Extraer Datos ocultos de una web con BeautifulSoup y python
estoy intentando entender el código de la página https://foresignal.com/es/ y al momento de extraer los datos del HTML, hay datos que no me aparecen en el HTML pero cuando uso el navegador si, al ...
0
votos
0
respuestas
76
vistas
Web Scraping con Python
Estoy tratando de hacer un scraping de tablas de una pagina y despues de la quinta fila empieza a arrojar NaN, lo hice en Pandas porque despues quiero usar esa informacion en excel, y en Beautiful ...
0
votos
0
respuestas
73
vistas
Web scrapping con Bs4 -> TypeError: 'NoneType' object is not subscriptable
Estoy desarrollando un proyecto de web scraping con BeautifulSoup y Requests en Django, extrayendo datos de páginas web que me mostrarán ciertos productos, su imagen, precio, etc. Al momento que ...
0
votos
0
respuestas
46
vistas
Hago un scrape a IMDb y no consigo sacar la información que quiero
quiero hacer, una api para aprender un poco sobre beautifulsoup4 y flask, que trata de directamente hacer un scraping de la pagina IMDb, como un ejemplo, y convertirlo en un resultado JSON para poder ...
0
votos
0
respuestas
186
vistas
Como obtener el elemento seleccionado de un combobox usando request, beautifulsoup y python?
Estoy tratando de hacerle scrapping a una web, pude obtener los datos de los textbox pero tengo problema para sacar la informacion de los menus desplegables.
Este es el codigo del menu desplegable:
&...
1
voto
1
respuesta
305
vistas
No puedo hacer un Web Scraping en una página web
He estado intentando hacer un web scraping en este sitio web https://www.segundamano.mx/anuncios/ciudad-de-mexico/alvaro-obregon/venta-inmuebles/casas, usé una función empleando Bs4 como se muestra a ...
0
votos
1
respuesta
154
vistas
agregar datos a un registro de una lista de python
tengo una lista de con los partidos de futbol que se van a disputar los próximos días
Me gustaría añadir una columna más con datos estadísticos según la liga a la que pertenece cada partido, pero ...
0
votos
1
respuesta
77
vistas
no me funciona el scraping
No se porque no me funcionan el scraping de esta pagina, use el método del xpath donde al inspeccionar la pagina me salen los datos que necesito en forma correcta pero al ejecutarlo en python no se ...
1
voto
1
respuesta
765
vistas
Webscraping: descargar pdf de una web con paginación: no se descargan los pdf de todas las páginas
Soy nuevo en webscraping. Estoy tratando de descargar pdfs de [esta página][1], que tiene paginación (del 1 al 7). El código que he hecho solo descarga pdf de las dos primeras páginas y no encuentro ...
0
votos
0
respuestas
54
vistas
Scrapear una lista sin etiqueta de wikipedia con BeautifulSoup
url = 'https://es.wikipedia.org/wiki/10_de_julio'
pagina_nac = requests.get(url, headers=header)
nacimientos_ = BeautifulSoup(pagina_nac.text, 'html.parser')
No puedo acceder al contenedor de los ...
1
voto
1
respuesta
397
vistas
Scrap con BeautifulSoup pero no obtengo toda la info, los selectores son multiclase de un retail
Tengo que hacer un scrapin y estoy usando Jupyter, no puedo usar otra herramienta. NEcesito extraer datos como la marca, nombre, precios y en que posición se encuentra cada producto en la página. Los ...
1
voto
0
respuestas
47
vistas
No descargo la totalidad de información de precios de una web
estoy empezando con el web scrapping y quiero obtener precios de una web que tiene varias páginas, tengo el siguiente código:
from urllib.request import urlopen
from bs4 import BeautifulSoup as soup
...
1
voto
0
respuestas
38
vistas
¿Cómo puedo entrar al mercado de Steam con mi cuenta usando BeautifulSoup?
Hace un par de meses desarrolle un código usando BeautifulSoup que me permitía entrar al mercado de Steam con mi cuenta, a través del uso de cookies. El problema es que hoy mi código ya no reconoce la ...
0
votos
0
respuestas
130
vistas
Extraer texto entre etiqueta <br>
El problema al que me enfrento es que usualmente extraigo texto con getText(), sin embargo, en esta ocasión el texto se encuentra entre etiquetas <br> y no sé cómo extraerlo.
Con esa línea de ...
0
votos
0
respuestas
56
vistas
Beautifulsoup cerrar conexión
Estoy tratando de conectarme con Tiktok a través de Beautifulsoup pero la conexión se queda abierta continuamente y no consigo descargar la web.
He probado a añadir un timeout, que evidentemente ...
0
votos
1
respuesta
56
vistas
Error al parsear respuesta html
estoy haciendo una consulta a esta página web:
https://es.soccerway.com/a/block_competitions_index_club_domestic?block_id=page_competitions_1_block_competitions_index_club_domestic_4&...
0
votos
1
respuesta
64
vistas
como obtener un link de una tabla raspada con beautifulsoup que coincida con un DF filtrado
Estoy realizando un raspado a una tabla. Esta tabla tiene varias filas las cuales contienen varias etiquetas estas etiquetas las obtengo con rows2 = rows[1].find('a') dentro de esta etiqueta capturo ...
1
voto
0
respuestas
422
vistas
¿Cómo puedo capturar las href con BeautifulSoup?
estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href.
import requests
import bs4
import ...
0
votos
1
respuesta
255
vistas
web scraping sismos, envío de mensajes bot telegram si se cumple condición, beautifulsoup
alguien me puede ayudar con mi código, es un bot de telegram el cuál envía mensajes de de un scraping a una web de sismos, me muestra el último sismo registrado cada 5 minutos, lo que necesito es que ...
0
votos
1
respuesta
83
vistas
en la siguiente función requiero que limite el número de resultados devueltos
import requests
from bs4 import BeautifulSoup
import pandas as pd
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 ...
0
votos
0
respuestas
31
vistas
Quisiera poner el .text del print directamente en la búsqueda de las etiquetas
Hola quisiera saber si podría hacer el .text directamente en la variable sin tener que hacerlo en el print, como por ejemplo
price = child_soup.find('h3',class_ = 'font-medium text-midnight text-3xl ...
0
votos
1
respuesta
147
vistas
¿Como extraigo información si la web tiene scrolling infinito?
quería extraer las url de los artículos que figuran en este apartado de la web "una sección" pero estas secciones tiene un scrolling infinito, que los artículos no se cargan a menos que ...
0
votos
1
respuesta
85
vistas
¿Cómo se obtiene el texto de un enlace desde un div identificable por su nombre de clase?
Quiero anadir la informacion de cuantos Quotes de un articulo habia en el mio scraper que recupera los articulos que se recuperan a partir de una consulta en Google Scholar. Por ejemplo "nlp ...
0
votos
1
respuesta
290
vistas
Como extraer datos de un grafico dinamico
He estado interesado en data science y con esto de las criptos. Se me hizo interesante tratar de extraer datos y de coinmarketcap. Sin embargo no logro encontrar en que parte de la pagina se almacenan ...
0
votos
1
respuesta
600
vistas
¿Como Extraer Los Datos Que Porta Un "Label" Con Python?
Quiero extraer los talles de un producto y estos mismos están en un "label" intente varias formas para extraer la información del talle pero no lo consigo.
import requests
from bs4 import ...
0
votos
1
respuesta
28
vistas
Estoy intentado programar un web scraper y no estoy obteniendo el Output que busco
Intenté programar un web scraper para que buscara en una página de publicaciones científicas y me devolviera los títulos relacionados con un tema en específico. Mi código es el siguiente:
from bs4 ...
0
votos
1
respuesta
149
vistas
WebScrapping con Python
Estoy haciendo un ejercicio que consiste en hacer un programa de web scrapping con Python. Utilizo las librerias requests y BeautifulSoup. El caso es que para llegar hasta la página donde estan los ...
0
votos
1
respuesta
48
vistas
Web Scraping - Does not show results
Saben porque me trae 0 data cuando llamo de la siguiente forma
import requests
from bs4 import BeautifulSoup
baseurl = 'https://inkafarma.pe/'
headers = {
'User-Agent' : 'Mozilla/5.0 (Windows NT ...
0
votos
1
respuesta
147
vistas
No puedo pillar las datos del formulario completo con beautiful soup
Quiero pillar los nombre y los precios de todos los videojuegos que estan en la busqueda. Al realizar el .get y probar el print en la variable lista me reconoce todos los datos pero luego al iterar, ...
0
votos
1
respuesta
761
vistas
Como borrar líneas en blanco -BeautifulSoup
Tengo el siguiente código que me permite leer una página web que yo elija, el problema son los espacios en blanco que hay, he intentado eliminarlos con strip() o con alguna expresión regular pero no ...
1
voto
1
respuesta
312
vistas
error webscraping supermercado de alimentos chile
el principal problema es que no me esta dando el valor que le estoy pidiendo que es el "titulo" y "precio" que busco para lograr seguir un proyecto, porfavor ayuda
codigo base :
...
0
votos
1
respuesta
204
vistas
¿Cómo puedo hacer una request HTTP a una URL que utiliza Cloudflare?
he probado de todas las maneras posibles a obtener una respuesta de la siguiente url: https://www.wildfooduk.com/mushroom-guide/?mushroom_type=edible
import requests
headers = {
'User-Agent': '...
1
voto
0
respuestas
373
vistas
Problema al hacer Web Scraping a página que no tiene el mismo contenido HTML en el código fuente
Estoy practicando Web Scraping con requests (para hacer la petición) y BeautifulSoup para hacer el parseo, mis pruebas funcionaban perfectamente hasta que me encontré con una página web que se podría ...
-1
votos
1
respuesta
176
vistas
Web scraping, separar texto de una columna
estoy realizando web scraping una una pagina de sismos, en la tabla de sismos aparecen los datos que necesito pero especificamente el dato de "magnitud" viene con numeros y texto, lo que ...
0
votos
1
respuesta
166
vistas
beautifulsoup raspar imagenes dentro de src
Necesito raspar una imagen, pero estas no se encuentran en la pagina principal, como seria el procedimiento para poder realizarlo?
Les dejo la esctructura html, lo que necesito raspas esta dentro de &...
1
voto
1
respuesta
112
vistas
Python Web Scraping Error
Buenas dias tardes o noches, estoy intentando obtener desde la pagina de transfermarket.mx los jugadores mas valiosos de la Liga Mexicana de Futbol con su nombre y respectivo valor pero al momento de ...
0
votos
0
respuestas
2k
vistas
OSError: [Errno 22] Invalid argument - Se corrompe el tercer intento
Estoy armando un código que descarga de forma automática una serie de archivos (todos xls de la misma fuente) y reescribe los preexistentes que están ubicados en un drive.
Estoy usando este código:
...
0
votos
0
respuestas
227
vistas
Como hacer proxy con python3?
Paso a comentar mi situacion. Hice 4 scripts para raspar algunas paginas web con selenium. El siguiente paso era contratar un vps y hacer que esos 4 scripts corran en automatico para que realizen las ...