Preguntas con la etiqueta [scraping]

Web Scraping consiste en navegar automáticamente una web y extraer de ella información. También se puede utilizar para rellenar formularios, crear cuentas falsas o realizar cualquier acción en la red de forma automática.

120 preguntas con respuestas sin votos o no aceptadas
Filtrar por
Ordenado por
Etiquetadas con
0 votos
0 respuestas
37 vistas

Scrap de precios devuelve un precio que no se ve en pantalla

Estoy intentando scrapear precios de una pagina donde se dan tres situaciones: Productos con descuento (se ven 2 precios en la página) https://www.carrefour.com.ar/cebolla-x-kg/p Productos que tienen ...
Avatar del usuario Rocio Bisang
0 votos
0 respuestas
151 vistas

Obtener un xpath de una busqueda de texto en una tabla

Soy nuevo en python, estoy haciendo scraping con selenium. Consigo llegar a una tabla en donde necesito descargar un pdf, pero solo de la fila que dice "FActura" La palabra la busco y la ...
Avatar del usuario Matias Alarcon
0 votos
0 respuestas
48 vistas

repeticion de datos en webscraping usando xpath

tengo un problema estoy intentado scrapear datos de una pagina y al buscar tal dato, este se repite muchas veces y nose por donde va el problema Aqui les dejo el codigo $x('//div[@class="cs"]...
Avatar del usuario Benjamin Correa
0 votos
1 respuesta
60 vistas

Al hacer web scraping me salen solo unos pocos items habiendo muchos más

Al hacer scraping con puppeteer y cheerio a una web me saca todos los items pero pero la mayoria están vacios y las imagenes me pone undefined excepto unos pocos que los saca bien como se ve en la ...
Avatar del usuario josiland
0 votos
0 respuestas
50 vistas

Error 404 al hacer scraping

estoy realizando un scraping web con python y selenium, la página web abre con normalidad si la busco en el navegador, pero cuando lo hago desde el script me arroja error 404 from selenium import ...
Avatar del usuario Jhon Mondragon
0 votos
0 respuestas
76 vistas

Cómo realizar llamada a API para no recibir por respuesta 401 o´ 403 (errores)

Buenas tardes a tod@s. Estoy intentanto recibir respuesta json de la siguiente dirección (https://www.vinted.es/api/v2/promoted_closets?closet_count=1&item_count=5&exclude_member_ids=&...
Avatar del usuario AEK22
  • 1
0 votos
0 respuestas
68 vistas

Web Scraping con Python

Estoy tratando de hacer un scraping de tablas de una pagina y despues de la quinta fila empieza a arrojar NaN, lo hice en Pandas porque despues quiero usar esa informacion en excel, y en Beautiful ...
Avatar del usuario Luis Desde Canada
0 votos
0 respuestas
26 vistas

como pegar archivo Json escrapeado en otro JavaScript para poderlo manipularlo directamente?

tengo esta función para escrapear una tabla, esto me crea un archivo Json que me es actualizado cada cierto tiempo, y tengo la otra parte del código que me lo lee y lo convierte en objeto, pero quiero ...
Avatar del usuario carlosing
0 votos
0 respuestas
360 vistas

como puedo leer correo gmail con nodejs?

hola a todos Tengo un desafio en mi trabajo el cual me pidieron hacer un scraping a un gmail al que llegan los formularios de contactos desde la web de la empresa. Les presente una propuesta en python ...
Avatar del usuario Miguel Brown
0 votos
0 respuestas
157 vistas

Como obtener el elemento seleccionado de un combobox usando request, beautifulsoup y python?

Estoy tratando de hacerle scrapping a una web, pude obtener los datos de los textbox pero tengo problema para sacar la informacion de los menus desplegables. Este es el codigo del menu desplegable: &...
Avatar del usuario user306238
0 votos
0 respuestas
113 vistas

PHP Obtener enlace de de página web (web scraping)

Hola estoy usando un host remoto y quiero obtener este enlace: https://mrzutv.net/fx27sep.m3u el cual se encuentra alojado en esta página web: https://mexiqueando.site/m3u-latina-septiembre-2022/, ...
Avatar del usuario Jack Bender
0 votos
0 respuestas
112 vistas

scrapear varias subpaginas

creo que llevo bastante avanzado el 'for', pero sólo me imprime el último resultado, espero que sólo sea una tontería que se me está pasando por alto. import requests from bs4 import BeautifulSoup ...
Avatar del usuario ajmd97
  • 21
0 votos
0 respuestas
103 vistas

crear csv despues de scrapear una web

me estoy iniciando en Scrapear webs, concretamente lo quiero scrapear son web de estadísticas de futbol para crear mi propia base de datos. Principalmente elijo esto porque quiero aprender a scrapear ...
Avatar del usuario ajmd97
  • 21
0 votos
0 respuestas
47 vistas

Selenium Python problema con pseudo elemento

Estoy realizando un proyecto en selenium, la idea es acceder a una web y descargar un archivo. Digamos que está pensando en 3 partes. 1ra parte está lista, el código permite entrar a la página, ...
Avatar del usuario nick_fh_cl
0 votos
1 respuesta
62 vistas

no me funciona el scraping

No se porque no me funcionan el scraping de esta pagina, use el método del xpath donde al inspeccionar la pagina me salen los datos que necesito en forma correcta pero al ejecutarlo en python no se ...
Avatar del usuario carlosing
0 votos
0 respuestas
43 vistas

Scrapping en R con html_nodes no funciona usando xpath ni css selector. Tampoco selenium

estoy intentando scrapear una página con R usando html_nodes. Necesito extraer el nombre y el precio, y con el nombre usando el css selector funciona perfecto, pero con el precio todo lo que pongo ...
Avatar del usuario Rocio Bisang
0 votos
2 respuestas
82 vistas

Scrappeando con beatifulsoup al intentar obtener el texto en sección uno obtengo el error 'NoneType' object has no attribute 'get_text'

Utilizando las librerías BeautifulSoup y Requests intenté scrappear la navigation list de https://rpp.pe/ import requests url= 'https://rpp.pe/' rpp = requests.get(url) rpp.status_code rpp.request....
Avatar del usuario jose serrano
0 votos
0 respuestas
52 vistas

Scrapear una lista sin etiqueta de wikipedia con BeautifulSoup

url = 'https://es.wikipedia.org/wiki/10_de_julio' pagina_nac = requests.get(url, headers=header) nacimientos_ = BeautifulSoup(pagina_nac.text, 'html.parser') No puedo acceder al contenedor de los ...
Avatar del usuario Marco
  • 1
0 votos
1 respuesta
407 vistas

Botón Aceptar en Cookies Webdriver Selenium java

Tengo el código de un banner que me sale para aceptar cookies y mi programa en Java no encuentra el botón Aceptar, me da error. Estoy usando Selenium Webdriver para automatizar una página pero me sale ...
Avatar del usuario Fernando A.
0 votos
0 respuestas
211 vistas

Saltar seguridad Cloudflare Python, Scrapear MagicEden

Desarrollé un script que scrapea con python la informacion de la api de magic eden sobre todas las nuevas colecciones que se añaden, el problema viene en que han cambiado la seguridad Cloudflare y ha ...
Avatar del usuario Chupitastiiks
0 votos
0 respuestas
124 vistas

Extraer texto entre etiqueta <br>

El problema al que me enfrento es que usualmente extraigo texto con getText(), sin embargo, en esta ocasión el texto se encuentra entre etiquetas <br> y no sé cómo extraerlo. Con esa línea de ...
Avatar del usuario Barbara
0 votos
0 respuestas
44 vistas

¿Por qué recibo una respuesta diferente de la página al hacer mi request? Web Scrapping

Al realizar una petición GET a la página de Zalando, obtengo las siguientes respuestas. Como pueden ver, me responde con cuatro redirecciones antes de obtener un status code 200. Sin embargo, al ...
Avatar del usuario mitt
  • 1
0 votos
0 respuestas
139 vistas

TypeError: 'NoneType' object is not subscriptable cuando hago scraping en YouTube usando Python

Estoy tratando de crear un YouTube scraper (obtener los comentarios de un video de YouTube) pero recibí un error cuando hacía el bucle. TypeError Traceback (most recent ...
Avatar del usuario Alejandro_Iarley
0 votos
1 respuesta
249 vistas

web scraping sismos, envío de mensajes bot telegram si se cumple condición, beautifulsoup

alguien me puede ayudar con mi código, es un bot de telegram el cuál envía mensajes de de un scraping a una web de sismos, me muestra el último sismo registrado cada 5 minutos, lo que necesito es que ...
Avatar del usuario Daxtrox
  • 403
0 votos
0 respuestas
58 vistas

Como obtener los elementos de un Datacontainer con Python y selenium

Hola amigos buenos días. Me encuentro haicendo un programa para extracción de información de varias paginas de internet con python y Selenium, y debo obtener un archivo de excel de la siguiente ruta: ...
Avatar del usuario Ruben Guevara
0 votos
0 respuestas
177 vistas

Scrapping en Facebook

buen dia, mi maestro de Inteligen Artificial nos dio como "mini-proyecto" sacar 80 muestras de amigos y obtener quien es hombre y quien es mujer en base a su link de perfil. Vi que una forma ...
Avatar del usuario RaulMena
0 votos
1 respuesta
74 vistas

¿Cómo se obtiene el texto de un enlace desde un div identificable por su nombre de clase?

Quiero anadir la informacion de cuantos Quotes de un articulo habia en el mio scraper que recupera los articulos que se recuperan a partir de una consulta en Google Scholar. Por ejemplo "nlp ...
Avatar del usuario Revolucion for Monica
0 votos
1 respuesta
258 vistas

Como extraer datos de un grafico dinamico

He estado interesado en data science y con esto de las criptos. Se me hizo interesante tratar de extraer datos y de coinmarketcap. Sin embargo no logro encontrar en que parte de la pagina se almacenan ...
Avatar del usuario Morningstar
0 votos
1 respuesta
65 vistas

XPATH con numero incrementable

Hola amigos estoy presentando un problema estoy haciendo web Scraping a una web y necesito que un XPATH vaya aumentando para extraer los datos pero al momento de concatenarle el numero que voy ...
Avatar del usuario Alfredo Castro
0 votos
1 respuesta
45 vistas

Web Scraping - Does not show results

Saben porque me trae 0 data cuando llamo de la siguiente forma import requests from bs4 import BeautifulSoup baseurl = 'https://inkafarma.pe/' headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT ...
Avatar del usuario JimmyRCJ
0 votos
0 respuestas
28 vistas

Que es <function StatefulBrowser.__init__.<locals>.<lambda> at 0x00000295B80ECF70> al utilizar mechanicalsoup?

estoy intentando hacer web scraping en una intranet que requiere log in por lo que estoy utilizando mechanicalsoup para lograr entrar pero al momento de verificar si efectivamente pude entrar a la ...
Avatar del usuario ANDRÉS SÁNCHEZ
0 votos
0 respuestas
38 vistas

Sigo recibiendo Response 503 cuando hago requests.get con URL

Muy buenas, llevo un rato recibiendo <Response [503]> haga lo que haga con esta URL, ¿alguna sugerencia? import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...
Avatar del usuario DonIñigo
0 votos
0 respuestas
40 vistas

Scraping dos opciones a find_element_by_class_name

Estoy aprendiendo a usar python con selenium, y no logro resolver al hacer scraping en una web que tiene quizas en algunos productos ubicaciones clases distintas para mostrar el precio (por ejemplo si ...
Avatar del usuario Jennifer
0 votos
0 respuestas
2k vistas

OSError: [Errno 22] Invalid argument - Se corrompe el tercer intento

Estoy armando un código que descarga de forma automática una serie de archivos (todos xls de la misma fuente) y reescribe los preexistentes que están ubicados en un drive. Estoy usando este código: ...
Avatar del usuario Rocio Bisang
0 votos
0 respuestas
635 vistas

Al abrir el navegador de pruebas de forma silenciosa con Selenium, no extrae bien la información de la web

Estoy haciendo un programa empleando técnicas de Web Scraping con Selenium Webdriver para extraer información de varias páginas web. Para ello se crea un driver del navegador escogido, en este caso, ...
Avatar del usuario user155606
0 votos
0 respuestas
376 vistas

Obtener índice y almacenarlo en una variable en Python

Estoy trabajando en un ejercicio de scraping en el cual mediante el SKU debo ir a una web y traerme algunos datos (peso, alto, ancho) del producto en cuestión y luego pintarlo todo en un dataframe. ...
Avatar del usuario Nicolas Almonacid
0 votos
0 respuestas
48 vistas

Scrap para enlaces internos con BeautifulSoup

Planteando una clase para obtener todos los enlaces internos de una página, ¿qué regla habría que utilizar para distinguir los enlaces internos respecto a los externos como puede ser enlaces a redes ...
Avatar del usuario Vicent
  • 1,451
0 votos
0 respuestas
32 vistas

Extracción de un solo enlace

me gustaría extraer el enlace del encabezado. en la funcion parse, vereis una variable "enlace" que está vacia. Quiero extraer el mismo enlace que es el h2. Supongo que en vez de extraer el ...
Avatar del usuario We Underground
0 votos
1 respuesta
37 vistas

SQLite3 Unsupported datatype

Resulta que estoy haciendo scraping en una pagina para hacer un mini proyecto. Quiero que los resultados se guarden en una base de datos SQLite3. Mi problema es que la base de datos me rechaza ...
Avatar del usuario Sqluser
0 votos
0 respuestas
37 vistas

¿Como puedo mostrar mas de 100 resultados por página?

Quiero cambiar el numero de resultados de esta página: https://fifatracker.net/players/ a mas de 100 para luego exportar la tabla a Excel y que me sea mucho mas sencillo. Si hay una manera de extraer ...
Avatar del usuario Julen Martínez
0 votos
0 respuestas
123 vistas

Debo hacer un Web Scraping con Python en un archivo externo

Hola estoy comenzando con python y debo hacer un web scraping de olx de la sección de autos debo exportar la descripción y el precio de los vehículos, pero me arroja un error cuando quiero exportar la ...
Avatar del usuario eduard Aguas
0 votos
0 respuestas
201 vistas

Tiempos de carga de chrome con selenium

Estoy haciendo un web scraping con selenium webdriver en python, mi problema es que necesito cargar mas de 500 paginas y me tarda en total mas de 2 horas por la acumulacion de tiempo al cargar tantas ...
Avatar del usuario Rubén Caño Domínguez
0 votos
1 respuesta
899 vistas

No logro hacer click en el boton

Estoy usando selenium en python para extraer el codigo de esta pagina web: https://es.tradingview.com/symbols/BTCUSD/technicals/ . Necesito hacer click en '1 minuto', '5 minutos', '15 minutos'... y no ...
Avatar del usuario Rubén Caño Domínguez
0 votos
1 respuesta
413 vistas

¿Como puedo hacer scrapping de una página dinámica?

Mi problema es que yo quiero sacar los valores de la página de clicars, pero esta página es dinámica en cuanto a que tiene un scroll infinito. Por lo que solo puedo extraer los primeros datos que si ...
Avatar del usuario Edward Calderón
0 votos
0 respuestas
907 vistas

Rellenar los datos con Selenium y scrapear datos devueltos

Estoy intentando rellenar un formulario con selenium en python, al rellenar el formulario en la misma página se devuelve los resultados en forma de tabla, de esa tabla yo quiero extraer todos los rows ...
Avatar del usuario Jorge Rodriguez Mora
0 votos
0 respuestas
84 vistas

No logro hacer visualizar el código html de una tabla con bs4 en python

El código que estoy utilizando es: url = "https://www.solotodo.cl/products/67620-fantech-pulse-cg71-rgb-black" page = requests.get(url) soup = BeautifulSoup(page.content,'html.parser') tags ...
Avatar del usuario Greenyuno
0 votos
0 respuestas
421 vistas

¿porque al extraer texto de una web con selenium, en python 3, me da un error de encode?

Estoy realizando mi primera app con python, la idea de esta es extraer mensajes de la plataforma Twitch, para luego guardarlos en un .txt, utilizando selenium. Cuando extraigo el texto me sale el ...
Avatar del usuario Garro
  • 1
0 votos
0 respuestas
389 vistas

Web Scrapping en sitios con carga Dinamica JS

Estoy haciendo un trabajo de web scraping de la siguiente pagina: Covid en chihuahua, lo que necesito hacer es generar un csv de la tabla que aparece en la pagina pero esta cargado con datos ...
Avatar del usuario Ulises HR
0 votos
1 respuesta
171 vistas

Scrapear web que espera respuesta de API

Quiero scarpear información de esta web: https://www.lcfc.com/matches/results, en especial los resultados de los partidos, que se encuentran dentro de estas etiquetas (que visualmente seria lo que ...
Avatar del usuario iMSn20
  • 553
0 votos
0 respuestas
112 vistas

¿ Cómo puedo eliminar el head, los meta y css de un objeto beautiful soup?

estoy haciendo web scraping a una página que tiene una tabla y quiero obtener la información de esa tabla pero siempre que busco la tabla , me trae la información de los meta y los estilos y eso es ...
Avatar del usuario Ctara
  • 1