Preguntas con la etiqueta [scraping]
Web Scraping consiste en navegar automáticamente una web y extraer de ella información. También se puede utilizar para rellenar formularios, crear cuentas falsas o realizar cualquier acción en la red de forma automática.
205
preguntas
0
votos
1
respuesta
19
vistas
Al hacer web scraping me salen solo unos pocos items habiendo muchos más
Al hacer scraping con puppeteer y cheerio a una web me saca todos los items pero pero la mayoria están vacios y las imagenes me pone undefined excepto unos pocos que los saca bien como se ve en la ...
0
votos
0
respuestas
22
vistas
Error en scraping a una pagina web "Node is either not clickable or not an HTMLElement"
Hice este scraping de un e-commerce, me devuelve los producto bien hasta que en un punto se rompe.
No se como solucionarlo, nunca he logrado que me devuelva todos los productos bien.
Usa puppeteer, ...
0
votos
0
respuestas
14
vistas
Scraping / scraper no devuelve la imagen
Estoy tratando de de hacer un scraper de los celulares de MercadoLibre
Uso Javascript y ahora estoy probando con Playground, pero la solucion me sirve tambien si me la dan en cheerio o puppeteer, ...
0
votos
0
respuestas
21
vistas
Error 404 al hacer scraping
estoy realizando un scraping web con python y selenium, la página web abre con normalidad si la busco en el navegador, pero cuando lo hago desde el script me arroja error 404
from selenium import ...
0
votos
0
respuestas
23
vistas
Scraping con Python
¡Buenas tardes!
Necesito obtener los datos de una tabla de peajes en Argentina. La web donde esta esa información es la siguiente: https://www.argentina.gob.ar/obras-publicas/vialidad-nacional/...
0
votos
0
respuestas
26
vistas
¿Como seguir links con web scraping?
Estoy tratando de obtener los scripts de películas del género de terro de la siguiente página: https://imsdb.com/genre/Horror. El problema es que para llegar al script de la película hay que hacer 2 ...
0
votos
0
respuestas
13
vistas
Web Scraping Paginacion PHP JavaScript
Tengo un problema: Tengo una aplicación de Web Scraping con PHP/Goutte en el que manejo un formulario, ocupo una paginación mediante la cual pueda filtrar los resultados extrayendo primero los 10 más ...
0
votos
2
respuestas
31
vistas
Python ¿como quitar espacios en blanco de un numero?
Al hacer un scrap recibo esta informacion.
('CAMISETA BLANCO BLANCO', '16806474', '1 124.46', 'M')<
al hacer la insercción en la basde de datos, el "1 124.46" es un dato erroneo por ...
1
voto
1
respuesta
86
vistas
No puedo Extraer Datos ocultos de una web con BeautifulSoup y python
estoy intentando entender el código de la página https://foresignal.com/es/ y al momento de extraer los datos del HTML, hay datos que no me aparecen en el HTML pero cuando uso el navegador si, al ...
0
votos
0
respuestas
17
vistas
Screpear con rvest
Error in open.connection(x, "rb") :
schannel: next InitializeSecurityContext failed: SEC_E_ILLEGAL_MESSAGE (0x80090326) - This error usually occurs when a fatal SSL/TLS alert is received (e....
0
votos
0
respuestas
27
vistas
Cómo realizar llamada a API para no recibir por respuesta 401 o´ 403 (errores)
Buenas tardes a tod@s.
Estoy intentanto recibir respuesta json de la siguiente dirección (https://www.vinted.es/api/v2/promoted_closets?closet_count=1&item_count=5&exclude_member_ids=&...
0
votos
0
respuestas
32
vistas
Extraer datos con BeautifulSoup de una web que se carga al desplazar
Hay webs como https://es.bidoo.com/closed_auctions.php que van cargando los datos conforme vas bajando en la web.
El problema está en que cuando intento extraer los datos con soup.find_all('div', ...
1
voto
1
respuesta
57
vistas
Obtener valores con scraping
Holis, les comento que tengo que traer los datos de pizarra de la bolsa y no puedo obtener los valores de la pizarra y me da este error:
Fatal error: Uncaught TypeError: curl_getinfo(): Argument #2 ($...
0
votos
0
respuestas
40
vistas
Web Scraping con Python
Estoy tratando de hacer un scraping de tablas de una pagina y despues de la quinta fila empieza a arrojar NaN, lo hice en Pandas porque despues quiero usar esa informacion en excel, y en Beautiful ...
0
votos
0
respuestas
15
vistas
como pegar archivo Json escrapeado en otro JavaScript para poderlo manipularlo directamente?
tengo esta función para escrapear una tabla, esto me crea un archivo Json que me es actualizado cada cierto tiempo, y tengo la otra parte del código que me lo lee y lo convierte en objeto, pero quiero ...
1
voto
0
respuestas
52
vistas
Hacer click en input image con vba webscraping
estoy intentando hacer web scraping con vba. El problema es que no logro hacer 'click' en el boton consultar, da error, aparentemente puedo acceder al input que contiene la imagen 'consultar'. Lo que ...
0
votos
0
respuestas
67
vistas
como puedo leer correo gmail con nodejs?
hola a todos
Tengo un desafio en mi trabajo el cual me pidieron hacer un scraping a un gmail al que llegan los formularios de contactos desde la web de la empresa. Les presente una propuesta en python ...
0
votos
0
respuestas
31
vistas
Como obtener el elemento seleccionado de un combobox usando request, beautifulsoup y python?
Estoy tratando de hacerle scrapping a una web, pude obtener los datos de los textbox pero tengo problema para sacar la informacion de los menus desplegables.
Este es el codigo del menu desplegable:
&...
1
voto
1
respuesta
50
vistas
Twitter API failed [403] usando full archive search con API Academica (rTweet)
Estoy tratando de recuperar algunos tweets históricos con rTweet y estoy recibiendo un error muy poco detallado cuando utilizo la función search_fullarchive y search_30 days. Esto NO ocurre cuando se ...
0
votos
0
respuestas
67
vistas
PHP Obtener enlace de de página web (web scraping)
Hola estoy usando un host remoto y quiero obtener este enlace:
https://mrzutv.net/fx27sep.m3u
el cual se encuentra alojado en esta página web: https://mexiqueando.site/m3u-latina-septiembre-2022/, ...
4
votos
1
respuesta
44
vistas
C# Regex, no reconoce el patrón a pesar de ser correcto
Buenas estoy intentando hacer un programa para sacar información de un pdf, y cuando he dado el patrón regex que iba aplicar al texto, este no se comporta igual que las otras opciones que tengo para ...
1
voto
0
respuestas
44
vistas
for dentro de otro for siempre que muestra el último resultado
hola de nuevo amigos,
bueno, sigo atascado con mi proyecto
lo que quiero hacer es analizar una web de partidos de futbol, primero me tengo que conectar a la página donde aparece toda la lista de ...
0
votos
0
respuestas
54
vistas
scrapear varias subpaginas
creo que llevo bastante avanzado el 'for', pero sólo me imprime el último resultado, espero que sólo sea una tontería que se me está pasando por alto.
import requests
from bs4 import BeautifulSoup
...
0
votos
0
respuestas
34
vistas
crear csv despues de scrapear una web
me estoy iniciando en Scrapear webs, concretamente lo quiero scrapear son web de estadísticas de futbol para crear mi propia base de datos. Principalmente elijo esto porque quiero aprender a scrapear ...
0
votos
1
respuesta
67
vistas
Como coger la información del fútbol de ésta página?
estoy intentando coger la información de esta página
[https://www.marca.com/futbol/primera-division/clasificacion.html] para dichos resultados y aunque por el mismo método extraigo información de ...
0
votos
0
respuestas
34
vistas
Selenium Python problema con pseudo elemento
Estoy realizando un proyecto en selenium, la idea es acceder a una web y descargar un archivo. Digamos que está pensando en 3 partes.
1ra parte está lista, el código permite entrar a la página, ...
0
votos
0
respuestas
26
vistas
Scrapping: Extraer texto que no está dentro de una etiqueta en un html en R con html_nodes
Holi, estoy intentando scrapear una página y el html tiene la siguiente forma:
Mi codigo es:
price_1 <- tryCatch(main_page %>%html_nodes(".arcencohogareasy-store-theme-5-x-...
0
votos
0
respuestas
30
vistas
obtener el valor de un span haciendo web scraping con cheerio, pero el span aparece vacio
necesito obtener el valor del dolar en una pagina, haciendo web scraping, pero al acceder al span que contiene el valor numerico usando cheerio, me aparece vacio. De hecho todos los valores numericos ...
0
votos
1
respuesta
35
vistas
no me funciona el scraping
No se porque no me funcionan el scraping de esta pagina, use el método del xpath donde al inspeccionar la pagina me salen los datos que necesito en forma correcta pero al ejecutarlo en python no se ...
0
votos
0
respuestas
82
vistas
Problema al extraer todos los números de teléfono de WhatsApp web con Python y Selenium usando vsc
estoy usando este código para extraer números de teléfono de un WhatsApp (scraping9 por medio de xpath, ubique la clase principal de los mensajes, luego la clase contenedora de cada mensaje y por ...
0
votos
0
respuestas
35
vistas
Scrapping en R con html_nodes no funciona usando xpath ni css selector. Tampoco selenium
estoy intentando scrapear una página con R usando html_nodes.
Necesito extraer el nombre y el precio, y con el nombre usando el css selector funciona perfecto, pero con el precio todo lo que pongo ...
0
votos
2
respuestas
30
vistas
Scrappeando con beatifulsoup al intentar obtener el texto en sección uno obtengo el error 'NoneType' object has no attribute 'get_text'
Utilizando las librerías BeautifulSoup y Requests intenté scrappear la navigation list de https://rpp.pe/
import requests
url= 'https://rpp.pe/'
rpp = requests.get(url)
rpp.status_code
rpp.request....
0
votos
2
respuestas
205
vistas
Screenshot de pagina web completa con Python
Tengo un script de web scraping al que debo agregarle una función para tomar una captura de la página completa. Hasta ahora solo he logrado tomar una captura de lo que sería visible al abrir la página,...
1
voto
1
respuesta
128
vistas
Webscraping: descargar pdf de una web con paginación: no se descargan los pdf de todas las páginas
Soy nuevo en webscraping. Estoy tratando de descargar pdfs de [esta página][1], que tiene paginación (del 1 al 7). El código que he hecho solo descarga pdf de las dos primeras páginas y no encuentro ...
0
votos
0
respuestas
33
vistas
Scrapear una lista sin etiqueta de wikipedia con BeautifulSoup
url = 'https://es.wikipedia.org/wiki/10_de_julio'
pagina_nac = requests.get(url, headers=header)
nacimientos_ = BeautifulSoup(pagina_nac.text, 'html.parser')
No puedo acceder al contenedor de los ...
1
voto
1
respuesta
130
vistas
Scrap con BeautifulSoup pero no obtengo toda la info, los selectores son multiclase de un retail
Tengo que hacer un scrapin y estoy usando Jupyter, no puedo usar otra herramienta. NEcesito extraer datos como la marca, nombre, precios y en que posición se encuentra cada producto en la página. Los ...
0
votos
1
respuesta
140
vistas
Botón Aceptar en Cookies Webdriver Selenium java
Tengo el código de un banner que me sale para aceptar cookies y mi programa en Java no encuentra el botón Aceptar, me da error. Estoy usando Selenium Webdriver para automatizar una página pero me sale ...
0
votos
0
respuestas
9
vistas
Splash no puede renderizar esta web, hay algún método de solucionarlo?
Estaba realizando un programa de scraping para diferentes webs y me encontrado con una que no se ha podido extraer completamente. La web en cuestión es esta: https://www.viladomat.com/es-ES
El motor ...
0
votos
0
respuestas
97
vistas
Saltar seguridad Cloudflare Python, Scrapear MagicEden
Desarrollé un script que scrapea con python la informacion de la api de magic
eden sobre todas las nuevas colecciones que se añaden, el problema viene en que han cambiado la seguridad Cloudflare y ha ...
1
voto
2
respuestas
241
vistas
Element not interactable / selenium / python
Intento hacer click en un botón que sale en un pop up al cargar una pagina y no soy capaz.
LLevo varias semanas intentándolo y estoy frustradísimo, cosas que he intentado:
esperar a que el elemento ...
0
votos
2
respuestas
123
vistas
Selenium no localiza select list elements, en la pagina web que intento scrapear-
Estoy intentando scrapear, la siguiente pagina: http://www.veracruz.gob.mx/gaceta-oficial/, navegando a través de los select list elements, es decir desde un script de python acceder a la información ...
0
votos
0
respuestas
15
vistas
Cheerio o JSDOM undefined data json
Hola a quien me pueda ayudar, estoy haciendo un scraping con node, cheerio o jsdom en el cual accedo a un url donde esta un archivo json. Si accedo desde el navegador todo anda bien incluso si uso la ...
0
votos
0
respuestas
80
vistas
Extraer texto entre etiqueta <br>
El problema al que me enfrento es que usualmente extraigo texto con getText(), sin embargo, en esta ocasión el texto se encuentra entre etiquetas <br> y no sé cómo extraerlo.
Con esa línea de ...
0
votos
0
respuestas
30
vistas
¿Por qué recibo una respuesta diferente de la página al hacer mi request? Web Scrapping
Al realizar una petición GET a la página de Zalando, obtengo las siguientes respuestas.
Como pueden ver, me responde con cuatro redirecciones antes de obtener un status code 200.
Sin embargo, al ...
0
votos
0
respuestas
91
vistas
TypeError: 'NoneType' object is not subscriptable cuando hago scraping en YouTube usando Python
Estoy tratando de crear un YouTube scraper (obtener los comentarios de un video de YouTube) pero recibí un error cuando hacía el bucle.
TypeError Traceback (most recent ...
0
votos
0
respuestas
113
vistas
XPATH: Seleccionar atributo de un nodo a partir de una condicion en el nodo hijo
como puedo seleccionar el href de 'a' a partir de la condicion del nodo hijo [text()="Apple"], es decir obtener todos los href que tengan como texto "Apple" en el segundo div
<...
1
voto
0
respuestas
170
vistas
¿Cómo puedo capturar las href con BeautifulSoup?
estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href.
import requests
import bs4
import ...
0
votos
1
respuesta
158
vistas
web scraping sismos, envío de mensajes bot telegram si se cumple condición, beautifulsoup
alguien me puede ayudar con mi código, es un bot de telegram el cuál envía mensajes de de un scraping a una web de sismos, me muestra el último sismo registrado cada 5 minutos, lo que necesito es que ...
0
votos
1
respuesta
51
vistas
en la siguiente función requiero que limite el número de resultados devueltos
import requests
from bs4 import BeautifulSoup
import pandas as pd
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.127 ...
1
voto
0
respuestas
151
vistas
¿Cómo puedo exportar la información extraída de la API de Finca Raíz a un archivo CSV?
Soy nuevo explorando el tema de Web scraping (con Python), me he apoyado en esta importante red para desarrollar el código, pero cuando trato de exportarlo a CSV (Stack Ovf 3) me guarda a una ...