Preguntas con la etiqueta [beautifulsoup]

Beautiful Soup es una librería de Python para extraer datos de archivos HTML y XML.

Filtrar por
Ordenado por
Etiquetadas con
3 votos
1 respuesta
18 vistas

Extraer valores de una lista con BeautifulSoup

Estoy usando BeautifulSoup para extraer valores de una lista desordenada pero no soy capaz. Estos son los pasos que hago: 1- Hago un findall a la web buscando los elementos ul con clase "cols&...
0 votos
1 respuesta
26 vistas

el codigo no me crea el excel

import requests import xlsxwriter from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys ...
0 votos
0 respuestas
16 vistas

Error al copiar una pagina web (web scraping), no obtengo las imagenes

La pagina que estoy intentando hacer web scraping es www.classcentral.com/ con profundidad 1, me genera estos problemas: No obtengo las imagenes y por alguna razon salen pixeladas (como si no ...
0 votos
0 respuestas
35 vistas

No logro crear el código correcto para contar

<span aria-hidden="true" class="b6dc9a9e69 adc357e4f1 fe621d6382"> <svg xmlns="http://www.w3.org/2000/svg" viewBox="0 0 24 24"> <path d="M24 ...
2 votos
1 respuesta
495 vistas

Error al instalar BeautifoulSoup mediante pip

Estoy tratando de instalar la librería BeautifulSoup con pip para Python 3.6: $ pip install beautifulSoup Pero me tira un error: (myvenv) eduardorr21@eduardoreyes21 ~/Documents/WebScraping $ pip ...
0 votos
0 respuestas
22 vistas

No me deja usar web scraping para una pagina web/Does not let me use web scraping for a website

from bs4 import BeautifulSoup import requests import csv from datetime import datetime import pandas as pd from bs4 import BeautifulSoup from lxml import html page = requests.get('https://...
1 voto
1 respuesta
82 vistas

No puedo hacer un Web Scraping en una página web

He estado intentando hacer un web scraping en este sitio web https://www.segundamano.mx/anuncios/ciudad-de-mexico/alvaro-obregon/venta-inmuebles/casas, usé una función empleando Bs4 como se muestra a ...
0 votos
0 respuestas
29 vistas

¿Cómo puedo obtener números de teléfono de una página de Google Maps?

Quiero raspar el número de teléfono de los resultados de google maps: https://www.google.com/maps/place/EDF+Cap+Amp%C3%A8re/@48.9204621,2.3433823,17z/data=!4m6!3m5!1s0x47e66ec170a20129:...
0 votos
0 respuestas
24 vistas

¿Como actualizar automáticamente con BeautifulSoup?

¿Cómo logro que se me actualice el valor de la UF (Unidad de Fomento) diaria automáticamente? from bs4 import BeautifulSoup import requests from datetime import datetime from datetime import date url ...
0 votos
0 respuestas
28 vistas

Como Obtener Mas De Un Resultado Con WebScrapping Python

Pues estoy intentando conseguir todos los resultados con el web scrapping, pero, al parecer solo me obtiene el primer dato, es decir, estoy intentando conseguir una lista de todas las casas y solo me ...
0 votos
0 respuestas
41 vistas

¿Cómo obtener el hipervínculo deseado en requests?

Estoy intentando obtener el hipervínculo de imágenes específicas de BeautifulSoup y requests, con el siguiente código: import requests from bs4 import BeautifulSoup pg=requests.post("https://...
1 voto
1 respuesta
109 vistas

No puedo Extraer Datos ocultos de una web con BeautifulSoup y python

estoy intentando entender el código de la página https://foresignal.com/es/ y al momento de extraer los datos del HTML, hay datos que no me aparecen en el HTML pero cuando uso el navegador si, al ...
0 votos
0 respuestas
35 vistas

Extraer datos con BeautifulSoup de una web que se carga al desplazar

Hay webs como https://es.bidoo.com/closed_auctions.php que van cargando los datos conforme vas bajando en la web. El problema está en que cuando intento extraer los datos con soup.find_all('div', ...
0 votos
0 respuestas
47 vistas

Web Scraping con Python

Estoy tratando de hacer un scraping de tablas de una pagina y despues de la quinta fila empieza a arrojar NaN, lo hice en Pandas porque despues quiero usar esa informacion en excel, y en Beautiful ...
0 votos
0 respuestas
44 vistas

Web scrapping con Bs4 -> TypeError: 'NoneType' object is not subscriptable

Estoy desarrollando un proyecto de web scraping con BeautifulSoup y Requests en Django, extrayendo datos de páginas web que me mostrarán ciertos productos, su imagen, precio, etc. Al momento que ...
0 votos
0 respuestas
26 vistas

Hago un scrape a IMDb y no consigo sacar la información que quiero

quiero hacer, una api para aprender un poco sobre beautifulsoup4 y flask, que trata de directamente hacer un scraping de la pagina IMDb, como un ejemplo, y convertirlo en un resultado JSON para poder ...
0 votos
0 respuestas
39 vistas

Como obtener el elemento seleccionado de un combobox usando request, beautifulsoup y python?

Estoy tratando de hacerle scrapping a una web, pude obtener los datos de los textbox pero tengo problema para sacar la informacion de los menus desplegables. Este es el codigo del menu desplegable: &...
0 votos
1 respuesta
64 vistas

agregar datos a un registro de una lista de python

tengo una lista de con los partidos de futbol que se van a disputar los próximos días Me gustaría añadir una columna más con datos estadísticos según la liga a la que pertenece cada partido, pero ...
0 votos
1 respuesta
38 vistas

no me funciona el scraping

No se porque no me funcionan el scraping de esta pagina, use el método del xpath donde al inspeccionar la pagina me salen los datos que necesito en forma correcta pero al ejecutarlo en python no se ...
0 votos
0 respuestas
26 vistas

¿Como puedo obtener la información de un div data-XXXX, para encontrar src?

En este caso, quiero obtener la información dentro de un div, el problema es que la información que quiero es una imagen y esta dentro de un div. Creo que la manera de solucionar es obtener hay más de ...
0 votos
0 respuestas
41 vistas

Scrapear web con info de varios años y crear un archivo csv por cada año

He scrapeado información con los resultados de las Olimpiadas de Ajedrez de 2016, usando el siguiente código: import requests from bs4 import BeautifulSoup import pandas as pd #Imports the HTML into ...
1 voto
1 respuesta
162 vistas

Webscraping: descargar pdf de una web con paginación: no se descargan los pdf de todas las páginas

Soy nuevo en webscraping. Estoy tratando de descargar pdfs de [esta página][1], que tiene paginación (del 1 al 7). El código que he hecho solo descarga pdf de las dos primeras páginas y no encuentro ...
0 votos
0 respuestas
20 vistas

No consigo obtener datos Bs4 Python

estoy intentando obtener los siguientes datos: Titulo Dirección URL Pero por alguna razón o me salen duplicidades o nada de lo que tiene que ver con lo que busco ( o directamente nada (None)). ...
1 voto
1 respuesta
160 vistas

Scrap con BeautifulSoup pero no obtengo toda la info, los selectores son multiclase de un retail

Tengo que hacer un scrapin y estoy usando Jupyter, no puedo usar otra herramienta. NEcesito extraer datos como la marca, nombre, precios y en que posición se encuentra cada producto en la página. Los ...
0 votos
0 respuestas
34 vistas

Scrapear una lista sin etiqueta de wikipedia con BeautifulSoup

url = 'https://es.wikipedia.org/wiki/10_de_julio' pagina_nac = requests.get(url, headers=header) nacimientos_ = BeautifulSoup(pagina_nac.text, 'html.parser') No puedo acceder al contenedor de los ...
1 voto
0 respuestas
44 vistas

No descargo la totalidad de información de precios de una web

estoy empezando con el web scrapping y quiero obtener precios de una web que tiene varias páginas, tengo el siguiente código: from urllib.request import urlopen from bs4 import BeautifulSoup as soup ...
1 voto
0 respuestas
29 vistas

¿Cómo puedo entrar al mercado de Steam con mi cuenta usando BeautifulSoup?

Hace un par de meses desarrolle un código usando BeautifulSoup que me permitía entrar al mercado de Steam con mi cuenta, a través del uso de cookies. El problema es que hoy mi código ya no reconoce la ...
0 votos
0 respuestas
88 vistas

Extraer texto entre etiqueta <br>

El problema al que me enfrento es que usualmente extraigo texto con getText(), sin embargo, en esta ocasión el texto se encuentra entre etiquetas <br> y no sé cómo extraerlo. Con esa línea de ...
0 votos
1 respuesta
38 vistas

Error al parsear respuesta html

estoy haciendo una consulta a esta página web: https://es.soccerway.com/a/block_competitions_index_club_domestic?block_id=page_competitions_1_block_competitions_index_club_domestic_4&...
0 votos
0 respuestas
38 vistas

Beautifulsoup cerrar conexión

Estoy tratando de conectarme con Tiktok a través de Beautifulsoup pero la conexión se queda abierta continuamente y no consigo descargar la web. He probado a añadir un timeout, que evidentemente ...
0 votos
1 respuesta
45 vistas

como obtener un link de una tabla raspada con beautifulsoup que coincida con un DF filtrado

Estoy realizando un raspado a una tabla. Esta tabla tiene varias filas las cuales contienen varias etiquetas estas etiquetas las obtengo con rows2 = rows[1].find('a') dentro de esta etiqueta capturo ...
0 votos
1 respuesta
180 vistas

web scraping sismos, envío de mensajes bot telegram si se cumple condición, beautifulsoup

alguien me puede ayudar con mi código, es un bot de telegram el cuál envía mensajes de de un scraping a una web de sismos, me muestra el último sismo registrado cada 5 minutos, lo que necesito es que ...
0 votos
0 respuestas
98 vistas

ValueError: All arrays must be of the same length

Estoy tratando de reutilizar mi código y creé una función que me hace un proceso de scrapper para no volver a realizar el código le pasé como parámetro la url a la función, el punto es que funciona ya ...
1 voto
0 respuestas
211 vistas

¿Cómo puedo capturar las href con BeautifulSoup?

estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href. import requests import bs4 import ...
0 votos
1 respuesta
54 vistas

en la siguiente función requiero que limite el número de resultados devueltos

import requests from bs4 import BeautifulSoup import pandas as pd headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 ...
0 votos
0 respuestas
83 vistas

filtrar datos webscraping

estoy realizando un raspado a una web de sismos. este raspado que extrae el primer datos de la tabla, lo que necesito es que el primer dato de la tabla solo se muestre si esta dentro de una latitud y ...
0 votos
0 respuestas
27 vistas

Quisiera poner el .text del print directamente en la búsqueda de las etiquetas

Hola quisiera saber si podría hacer el .text directamente en la variable sin tener que hacerlo en el print, como por ejemplo price = child_soup.find('h3',class_ = 'font-medium text-midnight text-3xl ...
0 votos
0 respuestas
25 vistas

Cuando abro una URL no coge el contenido de más de 5 <div> anidados, como puedo hacerlo para Web Scraping con BeautifulSoup?

Quiero abrir una URL para hacer Web Scraping de esta con BeautifulSoup. He intentedo abrir la URL con "urllib" y con "requests" pero no he podido abrirla entrar con ninguna de las ...
0 votos
1 respuesta
87 vistas

¿Como extraigo información si la web tiene scrolling infinito?

quería extraer las url de los artículos que figuran en este apartado de la web "una sección" pero estas secciones tiene un scrolling infinito, que los artículos no se cargan a menos que ...
0 votos
1 respuesta
45 vistas

¿Cómo se obtiene el texto de un enlace desde un div identificable por su nombre de clase?

Quiero anadir la informacion de cuantos Quotes de un articulo habia en el mio scraper que recupera los articulos que se recuperan a partir de una consulta en Google Scholar. Por ejemplo "nlp ...
0 votos
1 respuesta
156 vistas

Como extraer datos de un grafico dinamico

He estado interesado en data science y con esto de las criptos. Se me hizo interesante tratar de extraer datos y de coinmarketcap. Sin embargo no logro encontrar en que parte de la pagina se almacenan ...
0 votos
1 respuesta
269 vistas

¿Como Extraer Los Datos Que Porta Un "Label" Con Python?

Quiero extraer los talles de un producto y estos mismos están en un "label" intente varias formas para extraer la información del talle pero no lo consigo. import requests from bs4 import ...
0 votos
1 respuesta
16 vistas

Estoy intentado programar un web scraper y no estoy obteniendo el Output que busco

Intenté programar un web scraper para que buscara en una página de publicaciones científicas y me devolviera los títulos relacionados con un tema en específico. Mi código es el siguiente: from bs4 ...
0 votos
1 respuesta
91 vistas

WebScrapping con Python

Estoy haciendo un ejercicio que consiste en hacer un programa de web scrapping con Python. Utilizo las librerias requests y BeautifulSoup. El caso es que para llegar hasta la página donde estan los ...
0 votos
1 respuesta
30 vistas

Web Scraping - Does not show results

Saben porque me trae 0 data cuando llamo de la siguiente forma import requests from bs4 import BeautifulSoup baseurl = 'https://inkafarma.pe/' headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT ...
1 voto
1 respuesta
99 vistas

Web Scraping en python

Estoy aprendiendo a utilizar el modulo bs4 de python para escrapear la web. Lo que estoy intentando hacer es obtener el puntaje de un videojuego en metacritic y buscando por internet y preguntas ...
1 voto
2 respuestas
153 vistas

BeautifulSoup Condicional Python, Web Scraping

Buen dia, Espero me puedan ayudar con este pequeño codigo, Estoy intentando condicionar BeautifulSoup para que cuando lea las palabras "Sub-Español", Me imprima "Error", y si no me lee las palabras "...
1 voto
1 respuesta
1k vistas

¿Cómo obtener todos los enlaces con este código de Python scraping?

Tengo el siguiente codigo: import urllib.request datos = urllib.request.urlopen('http://blogdehermogenes.blogspot.com/').read().decode() from bs4 import BeautifulSoup soup = BeautifulSoup(datos) ...
0 votos
1 respuesta
75 vistas

No puedo pillar las datos del formulario completo con beautiful soup

Quiero pillar los nombre y los precios de todos los videojuegos que estan en la busqueda. Al realizar el .get y probar el print en la variable lista me reconoce todos los datos pero luego al iterar, ...
0 votos
1 respuesta
434 vistas

Como borrar líneas en blanco -BeautifulSoup

Tengo el siguiente código que me permite leer una página web que yo elija, el problema son los espacios en blanco que hay, he intentado eliminarlos con strip() o con alguna expresión regular pero no ...