Preguntas con la etiqueta [scrapy]
Scrapy es un entorno de trabajo de scrapping y crawling web de alto nivel en código abierto escrito en Python, usado para analizar sitios web y extraer datos estructurados de los mismos. Puede ser usado para diferentes propósitos desde extracción de datos a tests automatizados.
70
preguntas
0
votos
0
respuestas
6
vistas
Splash no puede renderizar esta web, hay algún método de solucionarlo?
Estaba realizando un programa de scraping para diferentes webs y me encontrado con una que no se ha podido extraer completamente. La web en cuestión es esta: https://www.viladomat.com/es-ES
El motor ...
0
votos
0
respuestas
37
vistas
Scrapy con Python en Visual Studio Code
Hola a toda la comunidad!!
Me estoy formando en Python (DAW + Web Scraping). Actualmente estoy intentando ejecutar mi código pero, el problema que "veo" es que el .csv sale en blanco.
El ...
1
voto
0
respuestas
49
vistas
¿Cómo puedo capturar las href con BeautifulSoup?
estoy iniciando con web scraping y trato de capturar todas las noticias referidas a la palabra fraude, sin embargo, mi selector sólo extrae los 10 primeros href.
import requests
import bs4
import ...
0
votos
0
respuestas
16
vistas
scrapy referal va a otra url
tengo una spider que obtiene categorias de una url, el problema es que al intentar hacer crawl por alguna razon explora una url que no es la provista.
Este es el log:
2022-04-14 13:39:36 [scrapy.core....
1
voto
0
respuestas
37
vistas
response follow no entra al siguiente metodo
estoy intentando pasar unas url al siguiente método usando response.follow de scrapy pero simplemente no llega a llamar al segundo metodo, es como si se cortara la ejecucion pero no estoy recibiendo ...
0
votos
1
respuesta
1k
vistas
[Web Scrapping][python] ¿Cómo puedo extraer la URL de cada pagina junto con los otros datos extraídos?
Estoy ensayando scrapy, un módulo de python para copiar info de paginas web.
A través de Xpaths puedo seleccionar el contenido html que quiero conservar de cada pagina. Tengo 'spiders' que van link ...
0
votos
0
respuestas
11
vistas
Scrapy btener texto de una web o json
Estoy intentando scrappear un API que al ingresar a la url devuelve un texto
intente hacerlo así pero no hay caso
import scrapy
class BlogSpider(scrapy.Spider):
name = 'blogspider'
start_urls =...
1
voto
0
respuestas
34
vistas
Scrapy ahora timesout con un sitio web que solía funcionar bien
Estoy usando scrapy para scrapear un sitio web: https://www.sephora.fr/marques/de-a-a-z/.
Hace un año funcionaba bien, pero ahora muestra un error:
El tiempo de espera del usuario causó un fallo de ...
0
votos
0
respuestas
32
vistas
¿Puede el código fuente revelado por scrapy ser diferente al de la página?
Non entiendo porqué, con scrapy, tengo un codigo fuente differente con el de la url https://www.nordstrom.com/browse/beauty/fragrance/perfume En efecto, aqui esta el output de scrapy:
(scr_env) C:\...
1
voto
1
respuesta
232
vistas
¿Cómo hacer una busqueda recursiva en una pagina?
Estoy intentando hacer una búsqueda recursiva en una página web con Scrapy. He modificado el valor en el fichero de settings.py de DEPTH_LIMIT = 4 y mi código queda de la siguiente manera:
class ...
1
voto
0
respuestas
25
vistas
¿ Por qué Scrapy exporta los los datos en una sola fila?
Espero que me puedan ayudar. Al ejecutar el código scrapy de más abajo, a través del comando
scrapy runspider ripley_end.py -o tablaripley.csv -t csv
los datos exportados, ya sea en json o csv quedan ...
0
votos
0
respuestas
22
vistas
Scrapy no exporta datos en ningun formato
amigos tengo un script en python para realizar un scraping a tridadvisor, el mismo se ejecuta sin marcar error y me crea el archivo pero sin datos o sea en blanco. A que se deberá este error, alguien ...
0
votos
0
respuestas
33
vistas
Scrapy Rules Python
Hola estoy intentando hacer web scrapping a una pagina, soy nuevo al usar Scrapy y no sé como aplicar las reglas correctamente, necesito el nombre....(los datos que tengo como Fields). https://...
0
votos
0
respuestas
25
vistas
How to work around the 403 error?
I've been trying to create my first spider with scrapy. I am trying to scrap this website
https://www.inmuebles24.com/departamentos-en-renta-en-acapulco-de-juarez.html
when attempting to run my script ...
0
votos
0
respuestas
25
vistas
Asignar el resultado de un response a una variable de clase con Scrapy
Tengo un problema asignando el resultado de un response a un atributo de clase. Mi código:
Scrapy Item:
class Item(scrapy.Item):
field = scrapy.Field()
Spider:
class spider(scrapy.Spider):
...
0
votos
2
respuestas
641
vistas
Python: Error al instalar Scrapy [Versión 3.xx]
Estoy trabajando con python en un entorno virtual independiente para no generar conflictos con otros proyectos y no puedo instalar la librería de Scrapy.
Versión de python : 3.6.4
S.O : ...
2
votos
1
respuesta
867
vistas
scraping web horizontal y vertical con scrapy
soy nuevo en scraping y estoy haciendo un raspado horizontal y vertical con scrapy. al momento de ejecutar mi codigo me genera el archivo .csv pero vacio, sin la informacion raspada.
este es mi ...
4
votos
2
respuestas
6k
vistas
Hacer click boton con Selenium
Hola soy nuevo con Selenium. Este es el código del boton donde deseo hacer click:
<a href="javascript:bp(26834)">Clic para ver</a>
Navego hasta la página indicada pero no se ...
0
votos
1
respuesta
79
vistas
Problemas al ejecutar mi código con Scrapy
Estoy sacando un curso de Web Scrapy, pero al momento de ejecutar mi codigo como lo indica con el siguiente comando:
scrapy runspider Extraccion_Scrapy.py -o video.csv -t csv
Me arroja el siguiente ...
0
votos
0
respuestas
21
vistas
Resultados de traducción No obtengo los elementos a través de la biblioteca scrapy
solo ingresa las URL indicadas por las reglas, pero no obtiene los elementos. ¿Qué estoy haciendo mal?
O será que la pagina tiene una carga dinamica y tendria que utilizar selenium(?)
class ...
0
votos
0
respuestas
20
vistas
Extracción de un solo enlace
me gustaría extraer el enlace del encabezado.
en la funcion parse, vereis una variable "enlace" que está vacia.
Quiero extraer el mismo enlace que es el h2.
Supongo que en vez de extraer el ...
1
voto
1
respuesta
32
vistas
Siempre obtengo el mismo registro dentro de una lista
Al intentar obtener todos los artículos de la pagina consultada solo obtengo el primer registro tantas veces artículos hayan en la URL consultada.
class MercadoSpider(scrapy.Spider):
name = '...
0
votos
1
respuesta
75
vistas
Problemas con Scrapy Spider Web
Quisiera que me apoyen en organizar mi data en columnas y filas.
Y otro problema es que el resultado del scraping no reconoce las tildes
Este es mi codigo:
import scrapy
class ComputrabajoFechas(...
1
voto
2
respuestas
198
vistas
Instalar Scrapy en Mac OS X error SSL pip
Buenas, actualmente estoy intentando instalas Scrapy en mi MacOS pero todo son problemas, lo primero que introduzco en terminal es:
pip install scrapy
Y me devuelve:
You are using pip version 7.0.1,...
1
voto
1
respuesta
59
vistas
La biblioteca win32 no esta reconocida a pesar de haberla instalado
Intenté hacer un proyecto con in Scrapy scraper, que funcionó bien hasta ahora, desder cero. Pero esta vez me parece que necesito una librería win32api. Puede que lo haya instalado en mi entorno ...
0
votos
1
respuesta
39
vistas
Enviar datos sin quemar a SCRAPY
Me explico tengo listo para extraer el detalle pero recién caigo en que estoy quemando para extraer los datos.
Lo que quiero es enviar un HTML si todo. Pongamos el propio ejemplo de SCRAPY quotesbot ...
1
voto
1
respuesta
105
vistas
Por qué mi araña creada en Scrapy con Python repite los datos
Como dice el título estoy haciendo una araña, es la primera vez que hago algo como esto. hasta ahora mi araña ya puede seguir los enlaces y traerse el texto. Es una araña sencilla.
Pero el problema ...
0
votos
1
respuesta
135
vistas
Duda al obtener el valor de un atributo mediante Scrapy Crawl
soy principiante en esto de la programación y estoy ahora aprendiendo Python. Una de las utilidades es poder obtener datos de Webs mediante Scrapy. La cuestión es que he probado en distintas páginas y ...
0
votos
0
respuestas
33
vistas
¿ Como puedo obtener el historial de descarga por meses de una aplicación X (cualquier app) con Python Scrapy?
Tengo una duda acerca de los datos sobre las aplicación de la Play Store. Realice un scraping de los datos de la apps de store, pero solo obtengo datos genéricos. ¿Existe una forma de obtener los ...
0
votos
1
respuesta
68
vistas
Quiero extraer "Value" haciendo Web Scraping - Python
item.add_xpath('id','//*[@id="search"]/div/input')
Quiero extraer el atributo "value" que está dentro de de la etiqueta div, lo que yo supongo es que debo añadir algo a esta línea ...
0
votos
1
respuesta
248
vistas
No puedo hacer uso de scrapy.contrib.loader
from scrapy.item import Item, Field
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.contrib.loader import ItemLoader
Todas estas librerías me ...
2
votos
0
respuestas
56
vistas
Columnas de csv al extraer
Un saludo! Estoy extrayendo datos con scrapy y al generar el csv me pone todos los datos de línea en una sola columna, hay manera de que me los traiga separados? aqui está mi código:
'''
from ...
0
votos
1
respuesta
123
vistas
¿Por qué este XPath no devuelve nada?
Estoy utilizando scrapy en una p'agina d Amazon de las laptops que mas se han vendido
Quiero Seleccionar el precio y el producto, por ejemplo de este framgmento de HTML
<head>
<meta ...
1
voto
1
respuesta
2k
vistas
Error scrapy no se reconoce
Estoy intentando correr un spider según la biblioteca de "scrapy" y al ejecutar la orden.
scrapy runspider my_spider.py -o data.csv -t csv --set CLOSESPIDER_ITEMCOUNT=10
Me señaliza el siguiente ...
0
votos
1
respuesta
281
vistas
Scrapy extrae la url parcialmente
Mi araña Scrapy funciona en todo, pero la extracción de la url a través de xpath @href no extrae la url completa, siempre la falta la parte final de la url desde el signo "?......." que marca la ...
0
votos
1
respuesta
1k
vistas
Python HTTPConnectionPool Failed to establish a new connection: [Errno 11004] getaddrinfo failed
estaba intentando seguir un tutorial sobre scraping de gruposothis, y me surge el siguiente error luego de un par de consultas.
El error en cuestión
Traceback (most recent call last):
File "C:\...
1
voto
1
respuesta
75
vistas
Scrapy en Python extraccion con xpaths
Estoy scrapeando texto de una pagina web con un spider en Python donde la salida es un .csv. Logré extraer lo que quiero para 1 solo campo, pero necesito agregar otro campo más al lado, el cual tenga ...
0
votos
2
respuestas
158
vistas
Ajustar columnas .csv con Scrapy
Tengo un problema, Python por default cuando me genera el archivo .csv me pone toda la data en una sola columna separado por comas, en vez de cada dato en una columna distinta. Necesito que los items ...
0
votos
1
respuesta
215
vistas
Error al scrapear datos de Fotocasa con python
Intento scrapear los títulos de los locales comerciales de Valencia en Fotocasa y me devuelve el siguiente error.
# Code follows:
allowed_domain = "fotocasa.es"
real_base_url = "https://www.fotocasa....
0
votos
1
respuesta
154
vistas
Scrapy Splash no funciona correctamente al sacar items cargados con JS
estoy usando Scrapy con Scrapy Splash ya que algunas URL que necesito revisar cargan con JS sus componentes. Por ejemplo esta URL: producto o esta URL: producto 2 , de estas URL que son productos de ...
1
voto
1
respuesta
108
vistas
Intento de webscrapping con scrapy fallido
Estoy iniciando con lo del web scrapping, por lo que intenté hacer un scrapping a stackoverflow en español que consiguiera los titulares de la portada, pero al recibir el archivo csv todo me aparece ...
1
voto
0
respuestas
152
vistas
¿Cómo resuelvo la inserción de registros desde una aplicación Python a una base de datos MySQL con PyMySql?
Esta es mi primera pregunta, así que trataré de formularla lo mejor posible.
He estado trabajando en una aplicación Scrapy, la cual tiene la misión de recabar información de una tabla, para ...
0
votos
1
respuesta
164
vistas
java.lang.ClassNotFoundException: com.gargoylesoftware.htmlunit.WebClient
He intentado de todo pero no obtengo resultados, estoy usando una API llamada HtmlUnit para sacar información de una pagina web sin embargo al momento de crear el WebClient, me salta el error en ...
1
voto
1
respuesta
145
vistas
¿Como extraer datos de una tabla con scraping en Ruby on Rails?
Pienso tomar un mooc de scraping con Ruby on Rails, para sacar el máximo provecho al curso estoy leyendo unos tutoriales como hacer scraping y adelantándome a las posibles tareas.
Creé en github una ...
0
votos
0
respuestas
960
vistas
¿Cómo raspar datos de mapas anidados en un mapa interactivo?
Tengouna página web con un mapa que contiene los distritos. Puedo hacer clic en los diferentes distritos de este mapa y me lleva a los precintos del distrito. De este mapa de los precintos de un ...
1
voto
0
respuestas
42
vistas
Error en la codificación al scrapear sitio web
estoy obteniendo datos de un sitio web y me trae carácteres extraños.
Según su código está codificado en ISO-8859-1.
Pero cuando paso la página por https://validator.w3.org me dice que su codificación ...
-1
votos
1
respuesta
133
vistas
Web scraping con una ERP almacenado en una URL
Tengo un proyecto entre manos, pero no se como iniciar dado que he estado pensado en dos lenguajes, Python y R.
Actualmente todos los días descargo 10 tipos de reportes que están alojados en una ERP, ...
0
votos
1
respuesta
31
vistas
User Agent navegador
Estoy intentando entrar con una araña scrapy en la pagina www.coches.net, no me deja y me han recomendado utilizar el agente usuario de google bot ¿Alguien puede decirme donde conseguir la ...
1
voto
0
respuestas
45
vistas
Problema con CrawlSpider en Scrapy
Estoy intentando extraer información de la página elblogdelnarco.com usando como clase CrawlSpider pero no logro hacer que funcione, les muestro mi código:
from scrapy.item import Field, Item
from ...
2
votos
1
respuesta
547
vistas
Obtener el link de una imagen con Xpath
Os explico lo que estoy haciendo y lo que quiero hacer, estoy obteniendo la información de una página pero ésta carga las imágenes por javasccript, para conseguirlas hago un post al server para que me ...