Preguntas con la etiqueta [scraping]
Web Scraping consiste en navegar automáticamente una web y extraer de ella información. También se puede utilizar para rellenar formularios, crear cuentas falsas o realizar cualquier acción en la red de forma automática.
178
preguntas
11
votos
1
respuesta
974
vistas
Obtener preguntas y respuestas de los formularios de Google con Selenium
Estoy tratando de raspar las preguntas y respuestas de formularios Google cuyas urls están en un archivo csv. Aquí hay un extracto:
links_y_temas.csv:
Link,Task
https://docs.google.com/forms/d/...
5
votos
0
respuestas
51
vistas
Cómo puedo eliminar un error de Web Scraping en R
Estoy intentando scrapear en R para realizar una data frame sobre la Presidencia del Consejo de Ministros. Un CSS ya corrió, referido al nombre de los funcionarios, el que sería una columna de mis ...
4
votos
3
respuestas
604
vistas
Como obtener el link del primer resultado de una búsqueda en Youtube con Beautiful Soap u otra libreria
Mi objetivo es obtener el link del primer resultado de un búsqueda en Youtube con Beautiful Soap, pero no lo consigo.
Ademas , no se como solucionar el que si hago una busqueda en youtube me devuelva ...
4
votos
1
respuesta
169
vistas
Extraer un element dentro de otro element Selenium
Estoy intentando extraer datos de un ELEMENT en un WEB con XPATH, la cosa esta que el primer element me aparece así toda el texto junto
<div class="css-vurnku" style="direction: ltr;&...
3
votos
1
respuesta
40
vistas
Selenium loop consume demasiada RAM
Estoy con scrapper script el cual tiene un método que recibe una lista de links (aprox 5000), ejecuta un loop y scrapea los datos de cada link:
def get_content_info(self, list_data):
'''Get ...
3
votos
1
respuesta
97
vistas
buscar con Jquery una cadena especifica en el atributo "src" de la imagen
Estoy intentando buscar una cadena con Jquery en el link de una imagen "src", yo he conseguido sacar los titulos, precios y url pero con la imagen no lo consiguo porque existe en el codigo ...
2
votos
2
respuestas
79
vistas
Web Scraping haciendo uso de Simple HTML DOM
He intentado obtener el tipo de cambio de dólar a mi moneda local, al no tener una API a mi disposición quisiera hacer un scraping de un sitio web de un banco local que muestra estos datos.
Gracias a ...
2
votos
2
respuestas
510
vistas
¿Cómo iterar sobre los elementos de varias listas con un mismo ciclo for?
Buen día tengo problema con los for. Estoy aprendiendo Python y no se si habrá una forma de lograr lo que busco.
Tengo tres listas con diferentes palabras. La primera la usare para igualar, la segunda ...
2
votos
1
respuesta
69
vistas
Web Scraping a Amazon
Estoy tratando de seguir las pautas de un tutorial de web scrapping en Amazon, el cual utiliza pupeteer y cheerio.
Tengo las dependencias instaladas en node:
{
"name": "scrapy",
...
2
votos
1
respuesta
91
vistas
WordCloud a traves de Scraping en python
Tengo un problema con el siguiente código en Python, lo que debe hacer el código es crear un WordCloud a partir de Scrapping de las etiquetas de un perfil de StackOverflow de un usuario que se ...
2
votos
1
respuesta
44
vistas
Error al scrapear multiples paginas web: name 'chromeOptions' is not defined
Estoy intentando scrapear una lista de webs. Iba scrapeando bien y devolviendo los datos hasta que apareció el error:
Message: unknown error: DevToolsActivePort file doesn't exist
Encontré una ...
2
votos
1
respuesta
235
vistas
Web Scraping Python, Extraer contenido de script
Tengo un problema con este pequeño codigo, Estoy intentando extraer lo que se encuentra dentro de aquel script, Pero no se me ocurre una forma de declarar la busqueda. Dejo el código.
from bs4 import ...
2
votos
1
respuesta
57
vistas
Obtener un documento xhr cuando se visita una página
Intenté obtener los elementos que podemos ver abajo de las fotos sobre el siguiente sitio.
Pero no puedo obtenerlo desde el codigo fuente. Suponía que se descaraba dinamicamente con un script ...
2
votos
0
respuestas
56
vistas
Columnas de csv al extraer
Un saludo! Estoy extrayendo datos con scrapy y al generar el csv me pone todos los datos de línea en una sola columna, hay manera de que me los traiga separados? aqui está mi código:
'''
from ...
1
voto
2
respuestas
211
vistas
base64 en google imagenes, web scraping
Estaba haciendo un pequeño proyecto y es un descargador de imagenes usando web scraping esto con google imagenes, pero ocurrio un problema y es con la url sacada del atributo src cuando revise la url ...
1
voto
3
respuestas
190
vistas
¿Cómo puedo extraer la primera y ultima posición de una palabra dentro de una cadena con javascript?
Mi problema es simple tengo esto:
Con indexOf obtengo la posicion de https pero necesito extraer ahora la url, como se puede ver hay texto delante y detrás pero no sé de que manera centralizar la ...
1
voto
1
respuesta
331
vistas
Obtener fecha de los días viernes con python
buen día.
Debo obtener la fecha de todos los viernes dos semanas atrás del día actual y dos semanas adelante. Me explico:
Hoy es viernes 16/07/2021, debo obtener la fecha del viernes de hace dos ...
1
voto
2
respuestas
123
vistas
BeautifulSoup Condicional Python, Web Scraping
Buen dia, Espero me puedan ayudar con este pequeño codigo, Estoy intentando condicionar BeautifulSoup para que cuando lea las palabras "Sub-Español", Me imprima "Error", y si no me lee las palabras "...
1
voto
1
respuesta
131
vistas
¿Como compilar provecto de Maven con todas sus dependencias?
He desarrollado un bot en IntelliJ que escrapea datos de una página usando Selenium, los cuales luego me envía por correo. Me gustaría exportar el proyecto para poder ejecutarlo automáticamente de ...
1
voto
1
respuesta
765
vistas
Selenium Driver Python is not clickable at point
Estoy tratando Scrapear otra Web , intente una solucion que me habian dado aqui(muy util ) de ejecutar el click desde JS , pero para esta nueva web no funciona adjunto codigo:
from selenium import ...
1
voto
2
respuestas
54
vistas
Como desarmo listas dentro de otras listas?
Estoy intentando scrapear varios precios de una página y obtengo esto como resultado:
[['[$573.81]'], ['[$124.52'], ['[$284.86]'], ['[$393.96]'], ['[]']]
Ya probé varias cosas, replace, remove, ...
1
voto
1
respuesta
1k
vistas
Obtener href de un div en Selenium con Python
Estoy probando Seleniun en Python y me he encontrado con un problema. La idea que tengo consiste en obtener dos listas en las cuales insertaré el nombre de las series mejor valoradas y por otro lado ...
1
voto
1
respuesta
73
vistas
¿Cómo hago para sacar toda la lista de películas de una página?
necesito pasar toda la lista de peliculas de una página y luego imprimir en python, la web es esta:
https://www.starz.com/ar/es/view-all/blocks/1523534
Me pasaron este codigo que funciona bien para ...
1
voto
1
respuesta
65
vistas
¿Cómo puedo liberar los recursos de la CPU para este bucle for en el Jupyter Notebook?
He estado tratando de ejecutar un proceso automatizado en un Jupyter Notebook (desde deepnote.com) todos los días, pero después de ejecutar la primera iteración de un bucle while y comenzar la ...
1
voto
2
respuestas
67
vistas
Beautiful Soup y Selenium solo muestran 4 primeros resultados
Estoy intentando hacer web-scrapping a fotocasa. El problema que tengo es que solo me scrapea los 4 primeros datos, cabe decir que justo cada 4 anuncios de casa ellos ponen una publicidad, tiene eso ...
1
voto
1
respuesta
147
vistas
Enviar HTTP requests mediante un proxy
he estado tratando de hacer peticiones a una url mediante requests, pero al rato me tiraba el error 429, too many requests, he estado investigando y para solucionar esto tenia que cambiar de proxy, y ...
1
voto
1
respuesta
103
vistas
Crear un contador dentro de xpath?
Hola ¿Alguien sabe como crear un contador dentro del xpath para ir incrementando las filas?
Aquí dejo el código:
cli = driver.find_element_by_xpath(
'/html/body/div[1]/div/...
1
voto
1
respuesta
67
vistas
Web scraping profundo en R, producto por producto
Estoy intentando extraer datos, con la ayuda de R, del catálogo de productos de una página farmacéutica y necesito los datos que están pinchando cada producto, es decir, necesito realizar un código en ...
1
voto
1
respuesta
74
vistas
¿Cómo realizar un scraping usando la id de un usuario de stackoverflow?
El objetivo del programa es realizar una wordcloud tomando como datos las etiquetas de un usuario de stackoverflow. Por ahora el programa funciona correctamente scrappea los datos de las etiquetas del ...
1
voto
1
respuesta
40
vistas
No recibo respuestas del cmd a la hora de ejecutar mi api de puppeteer
Hace poco comence en el mundo del web scraping con la libreria/herramienta de puppeteer. Me encargaron realizar una api que recopile la informacion principal de los pokemon de la pokedex (Nombre, id ...
1
voto
1
respuesta
525
vistas
Ingresar datos a una pagina mediante un script de python, web scraping?
Buen día, Estoy tratando de ingresar una lista de nombres y apellidos en 3 cajas de texto de una pagina web. La primera de Nombres, La segunda del Primer Apellido y el tercero del Segundo Apellido.
...
1
voto
1
respuesta
841
vistas
¿Cómo obtener todos los enlaces con este código de Python scraping?
Tengo el siguiente codigo:
import urllib.request
datos = urllib.request.urlopen('http://blogdehermogenes.blogspot.com/').read().decode()
from bs4 import BeautifulSoup
soup = BeautifulSoup(datos)
...
1
voto
1
respuesta
185
vistas
Python Scraping comprobar archivos duplicados antes de descargarlo o subirlo al servidor
Tengo un programa, el cual descarga archivos PDF de una web.
Por el momento, los guarda en local, la idea es que cuando esté finalizado, lo suba al servidor.
Mi pregunta es si es posible comprobar si ...
1
voto
1
respuesta
464
vistas
Interpretar una variable de python que contiene codigo HTML
Tengo una variable en un código Python llamada 'table' de tipo string en la cual guardo una tabla en formato html que he generado con la función tabulate (html tableformat).
table = "<table>...&...
1
voto
2
respuestas
44
vistas
Element not interactable / selenium / python
Intento hacer click en un botón que sale en un pop up al cargar una pagina y no soy capaz.
LLevo varias semanas intentándolo y estoy frustradísimo, cosas que he intentado:
esperar a que el elemento ...
1
voto
0
respuestas
49
vistas
¿Cómo puedo capturar las href con BeautifulSoup?
estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href.
import requests
import bs4
import ...
1
voto
1
respuesta
22
vistas
¿Cómo puedo exportar la información extraída de la API de Finca Raíz a un archivo CSV?
Soy nuevo explorando el tema de Web scraping (con Python), me he apoyado en esta importante red para desarrollar el código, pero cuando trato de exportarlo a CSV (Stack Ovf 3) me guarda a una ...
1
voto
0
respuestas
37
vistas
response follow no entra al siguiente metodo
estoy intentando pasar unas url al siguiente método usando response.follow de scrapy pero simplemente no llega a llamar al segundo metodo, es como si se cortara la ejecucion pero no estoy recibiendo ...
1
voto
0
respuestas
67
vistas
Web scraping python selenium en una ventana activa de chrome
necesito obtener datos de una pagina la cual tiene varios procesos para entrar incluyendo un captcha, antes lo venia realizando con AppleScript entraba manualmente a la pagina de la cual necesitaba ...
1
voto
0
respuestas
45
vistas
Como cerrar una ventana de anuncio en selenium con python.?
Estoy realizando un proyecto con python y selenium para descargar un archivo desde la pagina:
https://www.indexmundi.com/commodities/?commodity=palm-oil&months=120
Al final de la pagina, debajo de ...
1
voto
1
respuesta
25
vistas
Como obtener el precio de esta página por medio de Xpath para Google Sheets
estoy intentando crear una consulta para una investigación de mercado y necesito obtener precios desde esta página
He encontrado el precio en el código pero no logro generar una consulta xpath para ...
1
voto
0
respuestas
42
vistas
Reemplazar . por , iterando entre Nonetype y valores
Estoy intentando scrapear multiples paginas para volcar los datos a un excel y calcular algunas cosas. El problema es que en el excel me salta un simbolo de alerta que dice
"Numero almacenado ...
1
voto
1
respuesta
127
vistas
¿Cómo puedo crear una espera explícita dinámica usando selenium en Python?
Creé una programa en Python para hacer webscraping de datos en un website, al ejecutarlo a veces me arrojaba un problema, me explico:
WebDriverWait(driver, 10).until(EC.visibility_of_element_located((...
1
voto
0
respuestas
87
vistas
Iniciar sesión en una pagina web por medio de código [cerrada]
tengo una consulta ¿Cómo iniciar sesión a una pagina web por medio de código? la pregunta no va dirigida a crear un formulario en html si no a como rellenar automáticamente la parte de USUARIO y ...
1
voto
0
respuestas
99
vistas
Solucionar exception: IndexError: list index out of range
Estoy haciendo un programa que obtiene los posts de TikTok de un usuario. Sin embargo, el programa no funciona correctamente y me salta este error: IndexError: list index out of range. El programa ha ...
1
voto
0
respuestas
61
vistas
¿Como hacer scraping a esta pagina?
Saludos estimados estoy intentando hacer el scraping a esta pagina https://www.osiptel.gob.pe/sistemas/sigem.html, intento obtener la respuesta en JSON con cURL desde php
<?php header('Content-Type:...
1
voto
2
respuestas
105
vistas
BeautifulSoup No me muestra info al hacer scraping
Estoy trabajando en un ejercicio de Scrapping con Python, pero tengo el problema de que no me muestra nada al hacer find_all (aclaro que he probado con casi todas las clases e id del sitio) en cambio ...
1
voto
0
respuestas
34
vistas
Como obtener la respuesta al hacer Web Scraping a un sitio
Hola estoy intentando hacer web scraping a un sitio que usa autenticacion, primeramente quiero autenticarme en ese sitio, el cual tiene usuario, contraseña, y captcha alfanumerico.
He intentado lo ...
1
voto
0
respuestas
18
vistas
Symfony/BowserKit No devuelve HTML puro
Estoy intentando realizar un poco de Scraping junto con DOMCrawler component. Mi problema es que el BrowserKit me devuelve siempre un dump antes que el HTML y no se como acceder al mismo
¿Hay alguna ...
1
voto
0
respuestas
21
vistas
Problema obteniendo precios, request y beautifulsoup
Estoy teniendo algunos problemas para obtener la información de los precios de la página de Amazon en el mercado estadounidense, en otros mercados no he tenido ningún problema, pero aquí parece que no ...